А запуск с тем же мультом разных версий вилов?

Тоже говно. Но с вилами, обычно, такого не бывает. За это бьют по рукам админы и ставят одну версию через оркестратор

Ток с контейнерами я такую анархию видел

Ну контейнеры для неё и созданы

Можно свой базовый образ сделать

вот про это и разговор, что не хочу админов.
Хочу сиай сиди. Собрал свои зависимости как хочешь и заделиверил

там все равно для спарка базовый образ и так

одмены для поддержки кубера нужны будут

оно там не все гладко

опсы пилить напильником его и материться регулярно могут

Ну gke все таки это не голый сетап

А вдруг тебе в хбейз ходить нужно

Или бинарничек какой

Да я не про это

Я про то что там и так нужно юзать как основу конкретный образ

а за это я и топлю. Что докер и хорош тем что любые бинарки в любых версиях.
Еще и в случае кубера если нод докинули то не надо колеса крутить.

Привет, Коллеги! Вопрос к практикующим.
Есть спарк с хадупом, стандартный дистрибутив HDP.
Есть некая задача агрегации данных, которую надо запускать как батч или стрим, и она читает из кафки и пишет в кафку. Топиков много, задач надо много запускать, но код одинаковый. *Вопрос: Как вы параметризуете задачи?*. Т.е. чтоб передавать, например, топики как параметры?
Я такое пытался делать:
в программу передается название приложения, по нему читается из конфига параметры:

appName = sys.argv[1]
spark = SparkSession.builder.appName(appName).getOrCreate()
topic_in = spark.conf.get("spark."+appName+".topic_in")

такой конфиг можно, например, хранить в zookeeper.
Меня интересует, есть ли какой-то более правильный и удобный способ?
Вопрос, повторяю, на стандартном кластере, а не в облаке, не для кубернетеса и проч. Спасибо заранее!

@tenKe это к тебе

мы сделали велосипед  дикий ?но работающий, аргументом передается hocon конфиг(прям так) и парсится pureconfig в case class