и бигдата, да

а мне покзаалось что вопрос был зачем комуто кубер в большедатах

вот решает другие типы проблем тлдр

не у всех они есть

@pomadchin this

ааа ну ет д

но минио тоже вариант так та

да, это скорее чтобы еще опыт подрасширить, ну и джоб секьюрити, для самых циничных

в целом новые проекты когда начинаются
к8с втащат для сервисов
втаскивать ярн только для н жоб? проще наверное уж два к8с кластера поддерживать

кмк надо смотреть что умеют опсы, если ярн варят хорошо - почему нет?

ну и да, зависит от объемов и стека, если хранилище хорошо работает на жирном сервере ПГ, а пайплайны это просто сиквел через дбт - то конечно кубера хватит, чисто чтобы воркеров эйрфлоу запускать

нет

я не понимаю это боты какие-то которые вечно презаходят или что

Ещё год назад запускал спарк и в докер контейнерах на ярне, кластер собирался, secured hdfs работал, керберос авторизация проходила

Библиотеки hadoop монтировал с хост системы чтобы с собой не таскать

удобно? расскажи как запускать сча спарк на ярне?

Хочу чтоб у меня под каждый старт жобы свой имедж был

Тут будут основные проблемы чтобы hdfs либы полетели, а с ними проблемы на клиенте не замечал

Просто в конфигурации приложения указываете java_home какой хотите использовать, ноде менеджер  будет использовать его

Можно указывать прямо в момент Spark-submit, для драйвера одно, для воркеров другое

Спарк ничего нового относительно обычной джобы в докер ярне не требует, немного плясок было с другим

1. У хортона под питон 2й был скрипт, в контейнере только 3й, соответственно что-то не отработалось (нужно глянуть что там было, не вспомню)
2. Во время тестов у меня в контейнере своя джава стояла для тестов, по другим путям чем на хосте, пришлось пару параметров докинуть где её брать (оттуда и узнал что без проблем переписывается на сабмите пути)
3 как и вообще весь докер на ярне. Может быть медленный старт из-за того что образы качаются, только в 3.3 довезли чтобы они повторно pull делали для проверки обновлений, иначе раз закешировавшишь он там живёт постоянно(решали давая новый тег на ребилде образа или ансибл скриптами пулл делали, чтобы джобы не рескедулить с новым тегом) , не чистились скачанные имейджи (вроде уже пофиксили, нужно смотреть)