GP
это понятно, я как раз об этом и начал думать
надо побаловаться с настройками
надо побаловаться с настройками
что бы конфуза не вызывать, по умолчанию
spark.streaming.concurrentJobs = 1Size: a a a
2019 October 07
GP
всегда
GP
а то вдруг мы о разном говорим)
АЖ
что бы конфуза не вызывать, по умолчанию
spark.streaming.concurrentJobs = 1Это я уже посмотрел, да 🙂
SB
Привет всем. Есть кто шарит в связке spark + scala? Вобщем у меня трабл: пытаюсь засабмитить приложение на кластер. В ответ мне приходит следующее: Uncaught exception: org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]. Редактировал спарк-енв как на фото (по совету препода). Лог будет следующим сообщением.
P.S. редактировать настройки yarn я не могу
P.S. редактировать настройки yarn я не могу
A
давайте угадаю:
у вас удаленный кластер и вы пытаетесь запустить спарк шел?
у вас удаленный кластер и вы пытаетесь запустить спарк шел?
SB
ну кластер в одной сети
SB
а так в каком-то смысле можно считать удаленным
GP
почему оно перепутало порядок интересно
АЖ
почему оно перепутало порядок интересно
поди спарком пересылал
A
через кафку
GP
Всем привет, есть кто шарит в связке spark + scala? Вобщем у меня трабл: пытаюсь засабмитить приложение на кластер. В ответ мне приходит следующее: Uncaught exception: org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds].
GP
пробовал, неоч помогло. И я не могу менять конфиги yarn, он на серваке внутренней сети находится ..
GP
можешь показать весь стек трейс ?
GP
GP
драйвер то достучаться может до кластера?
GP
ты сабмит делаешь из той же сети?