Телеграмм чат группы hadoopusers страница 1373

ну, есть два принципиально разных подхода
1. у тебя все даги лежат в отдельном вольюме, который монтируется везде - к воркерам, шедюлеру, вебке
2. все засовываешь ВНУТРЬ докера, ничего снаружи не торчит. Когда нужно - перестартуешь все компоненты с новой версии образа - это самый верный для докера вариант

источник

10:57пожаловаться #8

George Gaál in Data Engineers

Dmitry Zuev

Через впн

ну, тогда можно и ингресс в принципе не настраивать

источник

10:57пожаловаться #9

Dmitry Zuev in Data Engineers

Кароч, в нашей тиме из четверых калек, это реально снимает головняк, и можно дальше прозибать понаписывая очередной етл

источник

10:58пожаловаться #10

Sergey Bilenko in Data Engineers

Dmitry Zuev

Я так понимаю, вся обработка крутится на серверах Google (в облаке) и они за это денег просят? К сожалению, не все данные можно отдавать на чужие сервера ):

источник

11:05пожаловаться #11

Dmitry Zuev in Data Engineers

канеше, compsoser -> gke -> gce

источник

11:05пожаловаться #12

Dmitry Zuev in Data Engineers

ну там вроде можно на remote k8s сабмитить

источник

11:06пожаловаться #13

Никита in Data Engineers

Здравствуйте, коллеги! Никто из вас не выгружал логи приложений YARN из Hadoop в logstash? Почему-то на сайте эластика нет соответствующего плагина, позволяющего вычитывать из hdfs. Никто не занимался чем-то подобным? Есть какие-то best practices?

источник

11:19пожаловаться #14

Sergey Bilenko in Data Engineers

Нам поудобнее будет Kafka + Spark. И данные не нужно никому отдавать.

источник

11:21пожаловаться #15

РА

Рамиль Ахмадеев in Data Engineers

Никита

логстеш может hdfs, а вообще там есть же logsearch вроде как

источник

11:26пожаловаться #16