Size: a a a

2020 January 20

SK

Sergej Khakhulin in Data Engineers
Denis Gabaydulin
Ну хз, разворачивать yarn только чтобы запускать driver на другой ноде. Такое.
Ну типа мы думаем о хдфс, но пока опять же экспертизы нет
источник

РА

Рамиль Ахмадеев in Data Engineers
а хдфс тоже в сворме/номаде будете поднимать?
источник

SK

Sergej Khakhulin in Data Engineers
Denis Gabaydulin
Ну хз, разворачивать yarn только чтобы запускать driver на другой ноде. Такое.
Мы Джобы запускаем с помощью airflow и держать на них ресурсы для запуска драйвера, тоже не круто
источник

SK

Sergej Khakhulin in Data Engineers
Рамиль Ахмадеев
а хдфс тоже в сворме/номаде будете поднимать?
Ну я пока новичку в этом и скажу что да😂🤣😂 с маунтом внешних разделов к контейнеру
источник

РА

Рамиль Ахмадеев in Data Engineers
😆
источник

SK

Sergej Khakhulin in Data Engineers
Или такая себе идея?
источник

РА

Рамиль Ахмадеев in Data Engineers
ну в общем то просто хадуп не про это…
источник

РА

Рамиль Ахмадеев in Data Engineers
прям реально так себе идея
источник

SK

Sergej Khakhulin in Data Engineers
Рамиль Ахмадеев
прям реально так себе идея
А как лучше?
источник

РА

Рамиль Ахмадеев in Data Engineers
ставить хадуб на железные сервера
источник

РА

Рамиль Ахмадеев in Data Engineers
камодити
источник

РА

Рамиль Ахмадеев in Data Engineers
разумеется
источник

РА

Рамиль Ахмадеев in Data Engineers
ну а еще лучше убедиться, что он хадуп реально нужен
источник

SK

Sergej Khakhulin in Data Engineers
Или можно на железках развернуть ярн, а контейнеры Ярна разворачивать через докер🤪
источник

DG

Denis Gabaydulin in Data Engineers
А большой ли у вас кластер?
источник

SK

Sergej Khakhulin in Data Engineers
Denis Gabaydulin
А большой ли у вас кластер?
Ну тестовый в 6 машинок по 6 ядер 24 гига
источник

DG

Denis Gabaydulin in Data Engineers
Ну я бы не стал заморачиваться с хадупом.
источник

РА

Рамиль Ахмадеев in Data Engineers
+
источник

AZ

Anton Zadorozhniy in Data Engineers
Sergej Khakhulin
Ну тестовый в 6 машинок по 6 ядер 24 гига
а в бою сколько данных?
источник

SK

Sergej Khakhulin in Data Engineers
Denis Gabaydulin
Ну я бы не стал заморачиваться с хадупом.
Да мы и не хотим пока, это так в бушующем
источник