E
но спарк-то остаётся :)
Size: a a a
2021 April 29
АЖ
он в кубах вполне живет
GP
спарк просто кубер использует как скедулер свой и все
P
Таки што
E
типа с ним проблем не бывает?)
AZ
плохонький такой планировщик, да
АЖ
ну этого никто не обещал
GP
под ярном прям идеально да спарк работает
GP
никада никаких проблем не было
AZ
ну под ярном хотя бы очереди есть
АЖ
ну в шифте тоже можно наколхозить
GP
ну это мы уже в конкретные юзкейсы упираемся)
AZ
pre-emption там, разные стратегии
ЕГ
Сколько данных у вас?
GP
а у тс прост типа рибята у мя кубер амазоны хадуп спарки чот крутое над намутить
AZ
скрипт который дергает лимиты на неймспейсах в зависимости от загруженности? 😊
AE
ну ежели посмотреть как спарк требует ресурсы, с хорошим планировщиков под него реально проблема
AE
(вот не знаю на кой я в исходники лазаю, каждый раз расстраиваюсь, как почитаю)