K
вообще не мешает с питоном так поступить
Size: a a a
2019 June 28
PK
мы сделали велосипед дикий ?но работающий, аргументом передается hocon конфиг(прям так) и парсится pureconfig в case class
Кривда, ты питон читать умеешь?)
K
Кривда, ты питон читать умеешь?)
питон позволяет хокон использовать
K
ну то есть вообще можно полноценный конфиг передавать base64 аргументом (или в чистом виде) и парсить pyhocon
D
hocon - это же формат, так? А где эти файлы уонфигурации хранятся, вот в чем вопрос
AI
Ещё варианты:
1) Задавать через переменные окружения
2) Класть конфигурацию файлом
3) Прокидывать конфигурации в hadoopConf:
Получать через sc.hadoopConfiguration.get("my.app.arg").
1) Задавать через переменные окружения
2) Класть конфигурацию файлом
3) Прокидывать конфигурации в hadoopConf:
spark.yarn.am.extraJavaOptions -Dmy.app.name=AppName -Dmy.app.arg=arg1Получать через sc.hadoopConfiguration.get("my.app.arg").
Sa
На hdfs можно закинуть конфиги, и в spark - submit прописать в --files ( https://stackoverflow.com/questions/34900023/read-files-sent-with-spark-submit-by-the-driver ), дальше как @krivdathetriewe сказал
t
йамл
K
c files плохо то,что вы по -факту не можете нормалньо посомтреть с какими аргументами что у вас запустилось
K
hocon - это же формат, так? А где эти файлы уонфигурации хранятся, вот в чем вопрос
аргументом спарк джобы
K
вы спарк сабмит можете аргумент передать
K
никто не мешает содержимое файла нафигачить
O
Привет, Коллеги! Вопрос к практикующим.
Есть спарк с хадупом, стандартный дистрибутив HDP.
Есть некая задача агрегации данных, которую надо запускать как батч или стрим, и она читает из кафки и пишет в кафку. Топиков много, задач надо много запускать, но код одинаковый. *Вопрос: Как вы параметризуете задачи?*. Т.е. чтоб передавать, например, топики как параметры?
Я такое пытался делать:
в программу передается название приложения, по нему читается из конфига параметры:
Меня интересует, есть ли какой-то более правильный и удобный способ?
Вопрос, повторяю, на стандартном кластере, а не в облаке, не для кубернетеса и проч. Спасибо заранее!
Есть спарк с хадупом, стандартный дистрибутив HDP.
Есть некая задача агрегации данных, которую надо запускать как батч или стрим, и она читает из кафки и пишет в кафку. Топиков много, задач надо много запускать, но код одинаковый. *Вопрос: Как вы параметризуете задачи?*. Т.е. чтоб передавать, например, топики как параметры?
Я такое пытался делать:
в программу передается название приложения, по нему читается из конфига параметры:
appName = sys.argv[1]такой конфиг можно, например, хранить в zookeeper.
spark = SparkSession.builder.appName(appName).getOrCreate()
topic_in = spark.conf.get("spark."+appName+".topic_in")
Меня интересует, есть ли какой-то более правильный и удобный способ?
Вопрос, повторяю, на стандартном кластере, а не в облаке, не для кубернетеса и проч. Спасибо заранее!
сдается вы кафка коннект пишете
D
> сдается вы кафка коннект пишете
D
пока не для продакшена :)
D
В общем, идея просто в файлах хранить, либо передавать все в приложения с аргументами. Это норм идеи, спасибо!
D
hadoopConf - это xml?
K
С файлами лучше остановиться , пока остановка не стала последней
L
Коллеги, приветствую! Подскажите пожалуйста как передать sql запрос из #NiFi процессора ConvertJSONToSQL в PutSQL ?
S
Коллеги, приветствую! Подскажите пожалуйста как передать sql запрос из #NiFi процессора ConvertJSONToSQL в PutSQL ?
сюда https://t.me/nifiusers, но хочешь ты чего то странного