СХ
или просто от хоста
Size: a a a
2019 June 26
СХ
😐вот реально, поражаюсь, ладно спарк только засунуть в докер+кубер
K
Привет!
Вопрос)
Есть HDP3 со спарком. Есть докеры с airflow (это, на самом деле, не важно, главное, что это всё в докере). И у меня не получается запустить спарк джобы в cluster mode из докера на кластере.
Есть ворнинг 19/06/26 11:48:37 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. и различные ошибки на тему Lib not found.
Все конфиги я скачал из ambari и закинул в контейнер (SPARK, YARN, HDFS, HADOOP) и завёл переменные окружения.
Мб кто знает, нужно ли что-то ещё добавить, чтобы всё заработало?
При запуске spark-submit/spark-shell с неймноды всё ок работает и в client и в cluster модах.
Вопрос)
Есть HDP3 со спарком. Есть докеры с airflow (это, на самом деле, не важно, главное, что это всё в докере). И у меня не получается запустить спарк джобы в cluster mode из докера на кластере.
Есть ворнинг 19/06/26 11:48:37 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. и различные ошибки на тему Lib not found.
Все конфиги я скачал из ambari и закинул в контейнер (SPARK, YARN, HDFS, HADOOP) и завёл переменные окружения.
Мб кто знает, нужно ли что-то ещё добавить, чтобы всё заработало?
При запуске spark-submit/spark-shell с неймноды всё ок работает и в client и в cluster модах.
А как вы подготовили образ ?
K
Вам нужно чтобы в докер образе из которого вы сабмитите джобу находились конфигурации вашего кластера, и все джарники, в идеале все тоже самое , что и структура обычной ноды вашего кластера
OI
А как вы подготовили образ ?
я взял вот этот докерфайл (ну и сопутствующие ему файлики) https://github.com/apache/airflow/blob/master/Dockerfile и докинул в него хадупные либы, конфиги и переменные окружения
compose взял из puckel и немного доработал
compose взял из puckel и немного доработал
K
я взял вот этот докерфайл (ну и сопутствующие ему файлики) https://github.com/apache/airflow/blob/master/Dockerfile и докинул в него хадупные либы, конфиги и переменные окружения
compose взял из puckel и немного доработал
compose взял из puckel и немного доработал
Ну судя по всему не так докинули )
K
Там аккуратненько нужно
СХ
Ну судя по всему не так докинули )
скорее всего не видят друг друга в компосе компоненты
UD
😐вот реально, поражаюсь, ладно спарк только засунуть в докер+кубер
dll hell
UD
как ты предлагаешь паковать разные рантаймы того же тензорфлоу
K
скорее всего не видят друг друга в компосе компоненты
Причём тут композ
OI
Ну судя по всему не так докинули )
ну вот да
https://archive.apache.org/dist/spark/spark-2.3.2/spark-2.3.2-bin-without-hadoop.tgz
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
https://archive.apache.org/dist/hive/hive-3.1.1/apache-hive-3.1.1-bin.tar.gz
Я вот отсюда брал.
Причём на мастере сами джобы видны, но они потом падают с lib not found.
https://archive.apache.org/dist/spark/spark-2.3.2/spark-2.3.2-bin-without-hadoop.tgz
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
https://archive.apache.org/dist/hive/hive-3.1.1/apache-hive-3.1.1-bin.tar.gz
Я вот отсюда брал.
Причём на мастере сами джобы видны, но они потом падают с lib not found.
СХ
делать образ qcow2
K
как ты предлагаешь паковать разные рантаймы того же тензорфлоу
Человек предпочитает не работать, чтобы не терять результатов
OI
Так, подожжите. Хадуп развернут по классике. В докере только компоненты airflow.
UD
делать образ qcow2
теперь запусти в ярне
UD
UD
Привет!
Вопрос)
Есть HDP3 со спарком. Есть докеры с airflow (это, на самом деле, не важно, главное, что это всё в докере). И у меня не получается запустить спарк джобы в cluster mode из докера на кластере.
Есть ворнинг 19/06/26 11:48:37 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. и различные ошибки на тему Lib not found.
Все конфиги я скачал из ambari и закинул в контейнер (SPARK, YARN, HDFS, HADOOP) и завёл переменные окружения.
Мб кто знает, нужно ли что-то ещё добавить, чтобы всё заработало?
При запуске spark-submit/spark-shell с неймноды всё ок работает и в client и в cluster модах.
Вопрос)
Есть HDP3 со спарком. Есть докеры с airflow (это, на самом деле, не важно, главное, что это всё в докере). И у меня не получается запустить спарк джобы в cluster mode из докера на кластере.
Есть ворнинг 19/06/26 11:48:37 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. и различные ошибки на тему Lib not found.
Все конфиги я скачал из ambari и закинул в контейнер (SPARK, YARN, HDFS, HADOOP) и завёл переменные окружения.
Мб кто знает, нужно ли что-то ещё добавить, чтобы всё заработало?
При запуске spark-submit/spark-shell с неймноды всё ок работает и в client и в cluster модах.
тупой вопрос, все нужные джарники закинули в образ?
K
Так, подожжите. Хадуп развернут по классике. В докере только компоненты airflow.
Если напомните в выхи и проблема актуальна будет , может смогу около рабочий конфиг раздобыть
UD
В хортоне просто свои костыли еще есть, типа hive warehouse connector, попробуйте взять их пакеты, либо стянуть джарники с их нексуса