РД
чорт, и тут пятница вечер😁
Size: a a a
2022 February 04
k
у вас просто какой-то configuration quirk надо искать 😁 что там в конф файлике, какой полный стэктрейс, пингуется ли хост флума с хоста спарка etc etc..
k
нужно пытаться выцепить original exception этого could not instantiate..
РД
в конфиг файлике каком имеете ввиду?
РД
и я что-то не понял, что имеется ввиду под хостом флума и хостом спарка
k
извините, не так выразился
начинать стоит с выцепления оригинальной ошибки - что там дальше в could not instantiate
начинать стоит с выцепления оригинальной ошибки - что там дальше в could not instantiate
РД
Подскажите, а куда еще можно попробовать посмотреть и покопать, кроме логов в ярне? чтоб детализировать
k
включить дебаг логи самого log4j
РД
ага, ок, попробую посмотреть
РД
Я еще вернусь!)))
2022 February 07
A
Всем привет! Приложение падает с такой ошибкой:
По гуглу я только смог понять, что это ошибка операционной системы (RHEL), а не спарка, но вот что делать в таком случае, не понятно. Может кто сталкивался и знает как решить?
lib_lightgbm.so: cannot apply additional memory protection after relocation: Cannot allocate memoryПо гуглу я только смог понять, что это ошибка операционной системы (RHEL), а не спарка, но вот что делать в таком случае, не понятно. Может кто сталкивался и знает как решить?
ИК
Увеличение памяти на экзекутор в четыре раза помогло. Походу, это переполнялся хип (об этой возможности мне здесь говорили), но отсутствие мониторинга не дало этого понять.
Конечно, памятью закидывать не бест практис, буду искать подходящие значения, скорее всего, просто нужно делать экзекуторы многоядерными))
Конечно, памятью закидывать не бест практис, буду искать подходящие значения, скорее всего, просто нужно делать экзекуторы многоядерными))
ЕГ
А попробуй шафл партишенс просто увеличить
DZ
ярн? memory overhead пробовали выкручивать?
ЕГ
Ещё есть варик закидать не только памятью, но и ядрами, будет соотношение рам/вкоре соблюдаться небольшое, но "последний герой", которому требуется вся оперативка мира, чтоб отсчитаться, получит её в итоге
ИК
на тот этап могу, но думаю, дело в оконках, партишенс не будет принят во внимание
ИК
это я и собираюсь сделать, многоядерные экзекуторы должны помочь
A
Попробую, спасибо
ЕГ
Почему, он на оконках хорошо работает
ИК
а, хотя да, там же по полю с высокой кардинальностью. Попробую, спасибо