Привет всем
Может кто подсказать, где можно почитать про Spark workflow
Желательно максимально подробное описание от старта до конца работы приложения

Спарк-приложение как таковое может не иметь конца, например интерактивная сессия или стриминг. Завершается при завершении вызывающего процесса, аварийном или плановом

Да, понимаю, пишу в спарк шеле и тоже завершаю аварийным путем
Тогда про джобу
Типа запуск спарк контекста, запрос ресурсов, запуск исполнителей, запуск спарк кода драйвером и тд
Хочу понять, что правильно понимаю процесс работы спарк джоба

Нигде полного описания процесса не нашёл

Ну, вроде всё правильно)

Дальше - в код😆

А драйвер передаётся на каждую ноду? На каждую ноду отдельно передаётся код спарка и jvm?

Драйвер работает на одной ноде
Либо на клиентской, либо на ноде кластера
Это deploy-mode

Клиент обращается к драйверу с запросом, драйвер строит план выполнения, стартует джобы и раздаёт задачи экзекуторам

А джава машина стартует на каждой ноде, да?

Ну, в контейнерах, которые ярн выдал

ярн выдаёт ресурсы исполнителю, а он в свою очередь воркерам, либо ярн выдаёт ресурсы воркерам тоже?

Jvm нет

Код спарка в зависимости от настроек
Можно указать чтобы локализовал с hdfs, можно сказать чтобы с файловой системы взял

Спасибо вам большое
Вроде понятнее все стало

Ярн выдаёт контейнер драйверу
Драйвер запрашивает контейнеры для воркеров
Ярн выдаёт
Драйвер запускает воркеры

если совсем по шагам

шел общается с ярном
ярн выделяет контейнер и стартует апп мастер
апп мастер запрашивает ещё ресурсы
ярн выделяет контейнеры и стартует там воркеры

будет в апмастере крутиться драйвер или нет зависит от режима в каком запускаете

локализация приложения проходит или из хдфс, или используется локальная фс
всё зависит от параметров каким вы запрашиваете ресурсы в ядре (оно делится на 2 части: сколько ресурсов и какую команду запускать со всеми параметрами, можете хоть ls -al / запустить)

попробывал- к сожалению тот же результат
ERROR ApplicationMaster: Uncaught exception:
java.lang.ClassNotFoundException: com.inspiredme.jobs.common.JobRunner
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:419)
at java.lang.ClassLoader.loadClass(ClassLoader.java:352)

а давай полный стек трейс

но вообще странно