R
Скорее всего, нужно порты прокидывать, если юпитер в контейнере.
Size: a a a
2021 September 07
R
А потом проверять, что есть доступ сетевой до кластера
AZ
У вас скорее всего конфиг кластера в Юпитер не прокинут
DR
прокинул
DR
всю папку parcels, в PATH прописал
AZ
Kernel какой, PySpark?
DR
да, сейчас тестирую через pyspark
DR
YARN_CONF_DIR="/opt/cloudera/parcels/CDH/lib/spark/conf/yarn-conf" SPARK_HOME="/opt/cloudera/parcels/CDH/lib/spark" PYTHONPATH="PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH" pyspark --master yarn
MS
Срочный вопрос! Но немного оффтопик
M1 с 8ram нормально тянет докер?
M1 с 8ram нормально тянет докер?
DR
десктоп для apple silicon норм работает
C
для этого есть отдельный чат
работает
работает
AZ
Попробуйте запустить обычный питон вместо пайспарк и прощупать оттуда конфиги и сеть до кластера
R
вы в клиентском или кластерном моде?
Если в клиентском, то прокидываете порт, на котором драйвер стартует?
Если в клиентском, то прокидываете порт, на котором драйвер стартует?
DR
по дефолту, значит через client, порт он каждый раз случайно выдает
DR
может его как-то зафиксировать можно?
R
Да, можно:
spark.driver.port
и spark.port.maxRetries
Позволяют использовать определенный range портов.
spark.driver.port
и spark.port.maxRetries
Позволяют использовать определенный range портов.
DR
спасибо, попробую
R
Вот эту мысль не совсем понял, если честно. Потому что по дефолту может быть и локал...
R
А эту ошибку вы где ловите? На экзекьюетрах?
R
Возможно, у вас с нод, где раскатываются экзеки, нет сетевого доступа до юпитера.