что над знать про этот оператор, чт это not an officially supported Google product.

расскажешь нам потом

Хм, я видимо тупенький, но если я могу сделать тупо Спарк сабмит, зачем мне этот велосипед?

Я к тому что у нас батчи сейчас ток

И хотелось тупо взять с эирфлоу и засабмитеть джобу

В кастомном контейнере для всякого путона

Гриш, вот я все еще не догоняю, зачем Спарк на кубере. И как с этим жить. Можешь тупому пояснить за кубер?

короче вместо ярна
другой шедулер другие контейнеры

если вопрос ‘зачем’ архитектурный - то это здорово помогает унифицировать архитектуру

все приложухи веряттся в одном месте

максимально абстрагировано от вендора (ну только кубер да - но он есть и в авс ажуже и гугле, кстате вот этот прод вообще на ажуре 😵 - ибо дешевле было)

ну и обещало быть интереснее ярна - ярн не самый быстрый шедулер

попробовать что-то новое

А мезос и докер совсем шляпа?

проблема у кубера в том, что он пилился под равномерный лоад кластера, и не полную забитость ядер / памяти - иначе он достаточно агрессивен (по дизайну) для своей стабилизации и будет хотеть развернуть или больше нод или покилять всои контейнеры которые аномально активны - аномально активны это растяжимый термин - сейчас это достаточно гибко конфижит но тип на пример он ожидает что все у тебя лайтвейтовый питон который жрет по 30% лимитов контейнера и макс по 50% ядра твоего кластера в 100500 ядер

ну и он будет агрессивен поотношению к агрессивному спарку который будет _целые ядра_ забирать на контейнер и держать лимиты в 80-90% на контейнер

но в целом это все решается и отлично работает
и в итоге у тебя кластер кубера и тебе фактически не важно где его пускать

поидее оператор гугловый это ‘правильный способ’ деплоить спарк апликухи

то что сейчас реализовано в спарке (не как оператор) это вот аналог месзо шедулера ярн шедулера и тп - но видимо у гугломенов что-то есть в голове - не разбирался) но думаю это направлено на решение выставления лимитов на контейнеры и более верного шедулинга - спарк апликуха все же удет специальный вид приложений

нет, хорошее решение