А что вообще почитать про то, что в куб стоит пихать и в каких случаях, а что - в ярн?

в ярн ничо не над пихать) старая какашка)
пихать тудаможно если легаси или емр у вас

Ну как...у нас вот сервера хадупа в большом количестве он-прем, и облака не светят. Спарк там гоняем, все дела. Ну и, как я понимаю, ярн с этим делом изначально норм дружит. Кубер в этом случае будет лучше? Или как раз тем кейсом, когда в него все подряд валят.

Там же как и в спарке пару типов воркеров/контейнеров

Условно драйвер ничего не есть, а воркер выжирает cpu, если ещё и нагрузка перекошена после какого group by то вообще весело

В спарке но за счёт микробатчей может быть более ровно, а вот во флинке с его "задеплоили топологию и полетели" (как в шторме было) это может хорошо перекосы вызывать

Ребят, всем привет! Буквально только начал во всё это втягиваться. Есть программа, которая берёт на вход статьи из wiki, и считает количество статей в котором упоминался хотябы раз какой то язык программирования. Ну и сделано это 3 разными функциями ранжирования. Но я не сильно ещё разбираюсь, что из себя какие методы представляют под капотом, и не понимаю, как там происходят вычисления. Поэтому может кто пожалуйста уделить 5-10 минут, и проконсультировать, почему какой метод быстрее работает?🙏🏻

Ты зря так говоришь , ярн достаточно хорошая вещь и надёжная

Пока ярн справляется с etl лучше куба

Плюс вещи типа докер контейнеров и прочее появились уже давно

Frameless довольно удобный, если все на нем написано, референсы к колонкам на этапе компиляции, аккуратнее работа с энкодерами сделано; я дописывал джобов в одном месте, мне понравилось

(на вкус и цвет конечно)

Хочу вот против нашей базы дописать прототип typed dataset, чтобы без спарка, но времени никак найти не могу

а куда деваться с бареметалом? минио + спрак он кубер?

ярн + хдфс - братья навек

Вот я тоже самое спросил, а меня проигнорили (

похоже да)

но был ж на спаркоконфе толк о хдфс в кубере

Это может выглядеть оправданным, когда нет своей инфры. Типа сидишь ты такой аналист в финансовом департаменте, прошёл курсы по пуспарку, решил лайтгбм наговнякать из своих цсв, а негде. Попросил в общеказеном опеншифте себе ресурсов и развлекаешься. Когда стоят свои сервера, зачем запускать датаноды через прослойку?

Спасибо большое, нашел эту книгу и 4 издание от создателя языка