C
Rachael Daniel has been banned! Reason: CAS ban.
Size: a a a
2020 February 25
IS
Классная книга
2020 February 26
Э
Коллеги, здравствуйте. А кто нибудь может направить на материал или объяснить вкратце как натравить confluent на mssql?
AZ
Коллеги, здравствуйте. А кто нибудь может направить на материал или объяснить вкратце как натравить confluent на mssql?
что конкретно вы хотите сделать?
Э
@dartov Посылать изменения в таблицах из МССГЛ в конфлюент для последующего соединения потоков и таблиц и в итоге пересылания в условный Power BI. Поточную аналитику по сути. Я просто с самим инструментом только познакомился.
BK
Как проще всего запускать Спарк приложения на удаленном кластере ?
BK
Под управлением ярна
AE
можно чё-нить типа livy там держать. вполне норм.
AZ
можно чё-нить типа livy там держать. вполне норм.
плюсую, или сразу запускать приложение вместе с кластером
K
Как проще всего запускать Спарк приложения на удаленном кластере ?
Докером
AE
вот ничоси "проще"
R
Как проще всего запускать Спарк приложения на удаленном кластере ?
а spark-sumbit обычный чем плох?
R
обычно делается пара-тройка edge-node внутри YARN кластера, с которых и улетают сабмиты
R
плюсую, или сразу запускать приложение вместе с кластером
а ты уверен что это попадает в определение “проще”? 😃
AP
Коллеги, а может кто-то с pyspark-ом подсказать?
Собрал энв в zip-архив, запускаю spark2-submit с —deploy-mode cluster, указываю зипарь через -- archives
Указываю
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./envname.zip/bin/python
В логах получаю Cannot run program "./envname.zip/bin/python"
Собрал энв в zip-архив, запускаю spark2-submit с —deploy-mode cluster, указываю зипарь через -- archives
Указываю
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./envname.zip/bin/python
В логах получаю Cannot run program "./envname.zip/bin/python"
AP
Что не так я делаю?)
AP
надо ли зипарь с энвом на hdfs уносить куда-то?
AZ
а ты уверен что это попадает в определение “проще”? 😃
aws emr create-cluster, ну и джоб чтобы лежал в бакете
AE
если джоб строго один, то так проще всего конечно