GP
можешь ALL попробовать
Size: a a a
2021 July 21
GP
а; понял
GP
да лучше оформи нормальные проперти и на старте подсунь их
GP
что бы не гадать почему и как работает
GP
также
--conf spark.driver.extraJavaOptions="-Dlog4j.configuration=file://path/to/conf/log4j.properties" \
--conf spark.executor.extraJavaOptions="-Dlog4j.configuration=file://path/to/conf/log4j.properties"
D
с файлом, уверен, заработает, было интересно, сделать 🔝 образом)
спасибо!
спасибо!
GP
я не увидел что ты на экзекуторы прокидывал в твоих постах
GP
может просто забыл туда сунуть и ток драйвер менял уровни
GP
а там ничего не происходило к примеру что тебе интересно
D
экзекьютор не менял, но чекал я логи именно драйвера
GP
понял
GP
да логинг у жвм проклят
GP
D
😄
N
Да здравствует логбэк
2021 July 22
ПБ
А партиция одна? В доке вроде написано , что дефолт startingoffset earliest
ПФ
ОСОБЕННО в спарке
МК
одна, но как-то странно спарк себя ведет - иногда ключи и не нулевые... Наверное, какой-то глюк (возможно, версии)
2021 July 23
ВК
Подскажите,
Когда я в параметре spark.driver.extraJavaOptions указываю прокси, через который скачиваю пакеты...
Откуда должен быть доступ к этим прокси? На всех нодах? Или только там где драйвер запускается?
Когда я в параметре spark.driver.extraJavaOptions указываю прокси, через который скачиваю пакеты...
Откуда должен быть доступ к этим прокси? На всех нодах? Или только там где драйвер запускается?