AZ
Вот я тоже самое спросил, а меня проигнорили (
Так а чем хадуп не устраивает?
Size: a a a
2021 March 01
AZ
Это может выглядеть оправданным, когда нет своей инфры. Типа сидишь ты такой аналист в финансовом департаменте, прошёл курсы по пуспарку, решил лайтгбм наговнякать из своих цсв, а негде. Попросил в общеказеном опеншифте себе ресурсов и развлекаешься. Когда стоят свои сервера, зачем запускать датаноды через прослойку?
Из своих цсв ему не нужен пайспарк, просто KubeSpawner или вообще локальный Юпитер же
N
Так а чем хадуп не устраивает?
Ну говорят старый он, пора на свалку.
N
Из своих цсв ему не нужен пайспарк, просто KubeSpawner или вообще локальный Юпитер же
А если нужен какой-то фреймворк распределенных вычислений?
AZ
А если нужен какой-то фреймворк распределенных вычислений?
Большие цсв очень
AZ
Ну говорят старый он, пора на свалку.
Я по существу спрашивал, мб конкретные претензии какие есть
AZ
Из старого помню проблемы с утилизацией, но вроде в 3.2 уже оппортунистические контейнеры мажутся на хлеб, не уверен что есть можно
AZ
Вроде уже близко, смотрю на
YARN-1011, знатный долгострой конечноGP
Так а чем хадуп не устраивает?
навреное тут правильнее сказать ярн
GP
меня с ярном не устраивает, что что контейнеры в которых спарк ранится они не тру контейнеры, тянут зависиомсти с хост машины
GP
очень неудобно когда хочется и вресию спарка собрать свою и зависимостей напихать нативных для твоей джобы
GP
ну и ярн используется обычно только для большедатожоб
кто тут в чате пускает обычные приложения в ярнах?
кто тут в чате пускает обычные приложения в ярнах?
GP
наверное кто-то пускает и так делать можно (теоретически)
я бы не стал
я бы не стал
N
меня с ярном не устраивает, что что контейнеры в которых спарк ранится они не тру контейнеры, тянут зависиомсти с хост машины
Падажжите, в 3 ходупе вроде можно уже докеры шедулить, не только ярны. Или я ошибаюсь?
GP
Падажжите, в 3 ходупе вроде можно уже докеры шедулить, не только ярны. Или я ошибаюсь?
конечно можно
GP
можно и без докеров было
N
Решает ли это проблему нетрушности контейнеров?
GP
спарки на ярне 3 работают как и на ярне 2 афаик
не знаю можно ли заставить спарки в докер контейнерах под ярном работать
но наверн както можно - у ярна там сеттингов милиард
не знаю можно ли заставить спарки в докер контейнерах под ярном работать
но наверн както можно - у ярна там сеттингов милиард
N
Я по существу спрашивал, мб конкретные претензии какие есть
Да нет, это скорее попытка осознать идеи коллег.
GP
Да нет, это скорее попытка осознать идеи коллег.
да гемор) я больше людей знаю кто мезос использовал как менеджер ресурсов / скедулер чем кто использовал ярн (не для большедат)