Запускаю на ярне.
spark-submit \
--master yarn \
--conf "spark.driver.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \
--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \
--deploy-mode cluster \
--num-executors 3 \
--executor-memory 11000m \
--executor-cores 2 \
--queue thequeue \

--deploy-mode client  в консоль будет писать все, попробуй

По идее, такого экзекутора должно хватать вообще на всё

Фиг его знает, уже неделю толкусь на одном месте

пробую клиент

мои конфы с yarn-site.xml.

 <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>hadtest1</value>
 </property>

 <property>
       <name>yarn.nodemanager.resource.memory-mb</name>
       <value>14336</value>
 </property>

 <property>
       <name>yarn.nodemanager.resource.cpu-vcores</name>
       <value>3</value>
 </property>

 <property>
       <name>yarn.scheduler.maximum-allocation-mb</name>
       <value>14336</value>
 </property>

 <property>
       <name>yarn.scheduler.maximum-allocation-vcores</name>
       <value>3</value>
 </property>

 <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
 </property>

 <property>
       <name>yarn.nodemanager.local-dirs</name>
       <value>/home/fenix/hadoop_data_dir/yarn</value>
 </property>

 <property>
       <name>yarn.nodemanager.log-dirs</name>
       <value>/home/fenix/hadoop_data_dir/yarn/log</value>
 </property>

 <property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
 </property>

 <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
 </property>

Всего памяти 15700 мб и 3 ядра на каждой из нод.

На мастере тоже

Намучился я с RDD. Я так понимаю все на датасетах/датафреймах сидят?

Вообщем у меня не хватило места в hdfs) поэтому и отваливался мой executor)))

Оверхед побольше еще попробуйте чтобы gc поменьше был

пока переделываю на graph-frame. Спасибо за подсказку, сейчас попробую юзнуть

О, я совсем пропустил это, но вот отличная новость. Некоторые из вас, наверняка, знают про Project Hydrogen - это такая инициатива по “бесшовному” связыванию Спарка и фреймворков распределенного обучения, например Horovod. В версии 2.4 появился Barrier execution mode, а 1 января Uber, оказывается, зарелизил вот эту штучку https://github.com/horovod/horovod/blob/master/docs/spark.md

Кто-то пробовал?

Поподробней про Project Hydrogen тут https://www.youtube.com/watch?v=vVZwzG7uKvI

Кто-нибудь прикручивал IntelliJ/Scala на маке (пофиг на чем, на самом деле) к спарку, который в кластере? Ноут в той же сети, что и кластер. Может туториал какой внятный есть?

Конфиг спарка просто настроить

Hive-site, hdfs-site

И всё такое