SK
Ну хз, разворачивать yarn только чтобы запускать driver на другой ноде. Такое.
Ну типа мы думаем о хдфс, но пока опять же экспертизы нет
Size: a a a
2020 January 20
РА
а хдфс тоже в сворме/номаде будете поднимать?
SK
Ну хз, разворачивать yarn только чтобы запускать driver на другой ноде. Такое.
Мы Джобы запускаем с помощью airflow и держать на них ресурсы для запуска драйвера, тоже не круто
SK
а хдфс тоже в сворме/номаде будете поднимать?
Ну я пока новичку в этом и скажу что да😂🤣😂 с маунтом внешних разделов к контейнеру
SK
Или такая себе идея?
РА
ну в общем то просто хадуп не про это…
РА
прям реально так себе идея
SK
прям реально так себе идея
А как лучше?
РА
ставить хадуб на железные сервера
РА
камодити
РА
разумеется
РА
ну а еще лучше убедиться, что он хадуп реально нужен
SK
Или можно на железках развернуть ярн, а контейнеры Ярна разворачивать через докер🤪
DG
А большой ли у вас кластер?
SK
А большой ли у вас кластер?
Ну тестовый в 6 машинок по 6 ядер 24 гига
DG
Ну я бы не стал заморачиваться с хадупом.
AZ
Ну тестовый в 6 машинок по 6 ядер 24 гига
а в бою сколько данных?
SK
Ну я бы не стал заморачиваться с хадупом.
Да мы и не хотим пока, это так в бушующем