GP
вроде как да
Size: a a a
2019 October 07
GP
откуда сабмит делаешь? с мастера?
GP
GP
со стандартным каунтером все равно падает. мне сказали надо внести изменения в спарк-енв
GP
GP
я обычный wordcount запускал и было норм
GP
может это лишнее?
GP
в дата инжах спроси уже, там больше людей по тематике)
GP
лучше у своего админа
GP
все что он мне посоветовал внести SPARK_LOCAL_IP в спарк-енв, но это не помогло
GP
а ты уверен что у тебя ворд каунт то работал?
GP
вернее что он у тебя работал на ярне, распределенно и не на драйвере
GP
поди спарком пересылал
оно теперь берет в учет порядок выделения, а не таймлайн (мож конечно так было всегда, и я не обращал внимания; да - отправил спарком через кафку)
GP
второй раз использовал пандасы и все сколектил на дривер и отсортировал по времени
A
вот у меня как и по ссылке выше на стековерфлоу было похожее поведение несколько раз:
кластер в отдельной зоне и оттуда до локальной машины где делаешь spark-submit доступа нету
в зависимости от настроек файрвола может как кидать ошибку что путь не найден, так и просто на таймауте висеть
кластер в отдельной зоне и оттуда до локальной машины где делаешь spark-submit доступа нету
в зависимости от настроек файрвола может как кидать ошибку что путь не найден, так и просто на таймауте висеть
A
какой режим запуска делали?
A
снести spark_local_ip и запустить с
--master yarn --deploy-mode clusterA
причем в пересланом сообщении чётко видно что в клиент моде деплоите
и дальше инфа что драйвер забиндил хост/порт
2019-10-07 19:27:20,892 WARN util.Utils: Your hostname, sergey-HP-Laptop-15-bw0xx resolves to a loopback address: 127.0.0.1; using 10.91.51.13 instead (on interface wlp3s0)и дальше инфа что драйвер забиндил хост/порт