C
Size: a a a
2019 October 02
C
ሚkey👏 Ïn ÕroMïä has been banned! Reason: CAS ban.
2019 October 03
VP
Всем привет!
Встретил такую проблему — при парсинге csv-файла pyspark-ом на локальной машине все работает отлично, а при запуске на hadoop-кластере — рассылает данные по сегментам и повисает (не пишет ничего в логи). При этом все остальное — файл и парсер — идентичны. Кто-то может подсказать, с чем это может быть связано?
Встретил такую проблему — при парсинге csv-файла pyspark-ом на локальной машине все работает отлично, а при запуске на hadoop-кластере — рассылает данные по сегментам и повисает (не пишет ничего в логи). При этом все остальное — файл и парсер — идентичны. Кто-то может подсказать, с чем это может быть связано?
A
а файлик где лежит?
λ
если упираешься в лимит на пользователе то даже по ssh не зайдешь =) (причем ошибка от ссш сервера неинформативна)
ну или бывает что от root зайдешь, а потом su уже не сделать, так как пользователь сидит в лимите
много веселья, но это именно если в лимит упираешься
ну или бывает что от root зайдешь, а потом su уже не сделать, так как пользователь сидит в лимите
много веселья, но это именно если в лимит упираешься
Обычно приложения запускаются не от юзерских подьзтвптелей. Поэтому зайдёшь
A
проблема что иногда нужно сделать sudo в указанного пользователя
и тут ты пролетаешь
про запуск "не от юзерских пользователей" можно рассказать jupyter и его кернелам (зашли по ссш, скопировали connection_info.json, запустили процесс, особо передаём привет sparkmagic)
и тут ты пролетаешь
про запуск "не от юзерских пользователей" можно рассказать jupyter и его кернелам (зашли по ссш, скопировали connection_info.json, запустили процесс, особо передаём привет sparkmagic)
A
если это ещё и в докере запущено, то:
зайдет без проблем и даже норм команды будет выполнять (я хз откуда от лимиты в этом случае берет)
а вот такое не работает
обвалится, так как дескрипторов свободных нету
docker exec --it --user=нужный_юзер container bashзайдет без проблем и даже норм команды будет выполнять (я хз откуда от лимиты в этом случае берет)
а вот такое не работает
docker exec --it --user=root container bash; su - нужный_юзеробвалится, так как дескрипторов свободных нету
A
@lol_dog поэтому дескрипторы это ещё то весёлое поведение =) которое может стрелять в разных местах
λ
В случае докера их нужно передавать параметром
В
В случае докера их нужно передавать параметром
уходи, тебе тут не рады
A
В случае докера их нужно передавать параметром
да ладно =) норм они и от родительской системы и сами трекают
λ
Берет он их с хост система с того юзера у кого запущен докер демон
λ
Скорее всего
λ
Но я бы советовал указывать явно на всякий случай
A
ну вот в случае exec внутрь я так и не нашел описания
а вот внутри все ок, id у пользоателя есть, внутри limits.conf есть
с хост системы хитрее как-то тянет
а вот внутри все ок, id у пользоателя есть, внутри limits.conf есть
с хост системы хитрее как-то тянет
A
а демон то почти всегда от рута запущен..... докер он такой веселый
λ
а демон то почти всегда от рута запущен..... докер он такой веселый
Имхо нет
λ
Обычно создают юзера
λ
От рута наверное запускать не стоит
