R
Scala API - для всяких продакшен-стриминг задачек,Python API - когда саентисты модельку принесли
Size: a a a
R
IK
GP
λ
R
GP
TY
λ
T
AZ
GP
ME
ME
AZ
AZ
AS
SK
yarn-site.xml
вставил такую строчку ${env.YARN_RESOURCE_MANAGER_URL}и при старте resourse и node manager спокойно забирает
url
из env
, но при spark-submit --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 1g --executor-cores 1 /opt/spark/examples/src/main/python/pi.py 1с мастер ноды, оно падает с ошибкой
Uncaught exception: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: ${env.YARN_RESOURCE_MANAGER_URL}:8088 (configuration property 'yarn.resourcemanager.webapp.address')может кто то встречал такое?
SK
yarn-site.xml
вставил такую строчку ${env.YARN_RESOURCE_MANAGER_URL}и при старте resourse и node manager спокойно забирает
url
из env
, но при spark-submit --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 1g --executor-cores 1 /opt/spark/examples/src/main/python/pi.py 1с мастер ноды, оно падает с ошибкой
Uncaught exception: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: ${env.YARN_RESOURCE_MANAGER_URL}:8088 (configuration property 'yarn.resourcemanager.webapp.address')может кто то встречал такое?
--conf spark.driver.extraJavaOptions="-Denv.YARN_RESOURCE_MANAGER_URL=resource-manager" \
--conf spark.executor.extraJavaOptions="-Denv.YARN_RESOURCE_MANAGER_URL=resource-manager" \
АК
GP