Там можно отдельно создать сессию и тогда SparkDriver будет висеть вечно

ну так и должно быть, они должны просто в accepted висеть и все

покажите выхлоп

yarn application -list -appStates ALL

ssh в кластер нет(

попробую через зеплин сейчас

насколько помню порядок ливи:
засабмитили джобу
она закинула джобу в кластер (запустив spark submit из консоли)
ожидает запуска в самом ярне
если не запустилось за указанной промежуток то киляет по таймауту

дальше могут появиться настройки самого yarn:
на одного пользователя не выдавать больше Х cpu/mem
один пользователь не может запускать более чем N задач

если вы видете ошибку с ресурсами, то скорее всего это второе, а не таймауты

Там ярн ругался:

WARN YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

Вот такое часа 3 висело в логах от ливи

когда ресурсов в кластере нету обычно джобы в accepted влетают
в вот при достижении лимитов как раз таки ошибка падает

Т.е. не ошибка, но долго висело, потом отвалилось

ну тут вопрос поднялся кластер или нет

так как похоже что ресурс менеджер стартанул
а нодаменеджеры не отчитались

Кластер уже месяц как работает, не тушится

так а в ui что?

распределение по очередям и какая утилизация кластера?

с такими возможностями кмк проще пересоздать кластер

dynamic allocation = off?

Это из конфига ярна?

Это настройки спарк сессии https://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation

= отдавать ресурсы когда они уже не нужны.

насколько я помню, в ливи оно с трудом пробрасывается