spark-submit  \
   --master k8s://https://ip:6443 \
   --deploy-mode cluster  \
   --conf spark.kubernetes.namespace=kube-system \
   --num-executors 2 \
   --driver-memory 1g \
   --driver-cores 1 \
   --executor-memory 8g \
   --executor-cores 2 \
   --verbose \
   --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
   --conf spark.kubernetes.container.image=..... \
   --class .....  \
   --driver-class-path ..... \
    file:///opt/Test_CP/spark444.jar 100

у тебя spark444.jar доступен на всех ехекуторах?

Оп, я не знаю

У меня вертится под на мастере кубера с образом спарка.
Я захожу в него. запускаю.
Он уже сам на нодах поды поднимает

А как там жарники шарить сейчас модно? inb4 пара нжинксов

обычно в ярне используется ресурс менеджер для таких дел
сделай доступным джарник на всех нодах

помоему в 2.4.1 нет ресурс менеджера еще

и экстернал шафл сервиса даже

в 2.3 был ресурс менеджер куда аплоадился джарник и спарк знал что его оттуда можно дернуть

1 под а не демонсет как шафлсервисы

Ну я какое-то такое непотребство делал с мезосом ( очень давно )

помоему так было

короче удостоверсья что во всех контейнерах джарник лежит в file:///opt/Test_CP/spark444.jar

Под всеми, что имеется в виду?

у меня 55 контейнеров различных

докер образы которые спавнят экзекуторы

в них сунь просто насильно твой спарк444жар под одинаквым путем

просто проверь))

Народ, кто-нибудь может подсказать, почему hadoop distcp не может приконектится с одного майл кластера на другой?

А какие сейчас модные способы перелить кластер в другое место? inb4 грузовичок авса/азура и т.д