OB
Size: a a a
2019 July 18
S
神風
Всем привет. Использовал ли кто-нибудь snakeyaml в своих spark джобах? Встречались ли с ошибкой парсинга по причине class not found exception?
Подкинь новую версию
神
Подкинь новую версию
Да в том то и дело, загадочная ситуация. Включили ACLи на YARNe лишились возможности смотреть историю, поковыряли настройки job history server, выставили везде *, не заработало. Откатили назад как было. И теперь все etlи с конфигами в виде yml файликов, которые работали раньше, перестали работать.
神
Причём это не один jarник это 10ки разных.
VS
Народ, запущенную джобу в шедуллере можно как-то ограничить по ресурсам на лету? А то у меня один деятель стартанул джобу и забил всё ИО на кластере :(
А что за джоба - то ? 😊
KM
神風
Да в том то и дело, загадочная ситуация. Включили ACLи на YARNe лишились возможности смотреть историю, поковыряли настройки job history server, выставили везде *, не заработало. Откатили назад как было. И теперь все etlи с конфигами в виде yml файликов, которые работали раньше, перестали работать.
После включения acl в hdfs на каталог /tmp/logs прав у mapred'a хватало? Ну или если вы меняли путь, то не /tmp/logs 😊
神
После включения acl в hdfs на каталог /tmp/logs прав у mapred'a хватало? Ну или если вы меняли путь, то не /tmp/logs 😊
Не, там проблема была вот в чем. Когда в Web морде ярна пытались посмотреть логи упавшего джоба, то стала вылетать ошибка доступа для dr.who. Я так понимаю, что aclи в ярне - это вещь абстрактная, не имеющая к файловой системе отношения. Проблема доступа именно к соответствующему ресурсу web сервера.
神
Но сейчас беспокоит не это, в первую очередь надо понять причину почему вдруг snakeyaml в jobaх работал а потом вдруг перестал.
EN
Дата инженеры. Есть очень мелкий тестовый кластер из 3х машин (мастер, 2 воркера).
Реплика фактор 2, но нет уверенности в том, что когда добавился второй воркер изначально реплика фактор был 2.
Подскажите последовательность действий, чтобы удалить 2ой воркер. (мастер и 1ый воркер отксалировали вертикально)
Там мастер еще наркоманский, на нем запускаются джобы и имеет диск для хранения данных (для hdfs).
Реплика фактор 2, но нет уверенности в том, что когда добавился второй воркер изначально реплика фактор был 2.
Подскажите последовательность действий, чтобы удалить 2ой воркер. (мастер и 1ый воркер отксалировали вертикально)
Там мастер еще наркоманский, на нем запускаются джобы и имеет диск для хранения данных (для hdfs).
MB
А что за джоба - то ? 😊
Уже разобрался. KYLIN оборзел.
AZ
Дата инженеры. Есть очень мелкий тестовый кластер из 3х машин (мастер, 2 воркера).
Реплика фактор 2, но нет уверенности в том, что когда добавился второй воркер изначально реплика фактор был 2.
Подскажите последовательность действий, чтобы удалить 2ой воркер. (мастер и 1ый воркер отксалировали вертикально)
Там мастер еще наркоманский, на нем запускаются джобы и имеет диск для хранения данных (для hdfs).
Реплика фактор 2, но нет уверенности в том, что когда добавился второй воркер изначально реплика фактор был 2.
Подскажите последовательность действий, чтобы удалить 2ой воркер. (мастер и 1ый воркер отксалировали вертикально)
Там мастер еще наркоманский, на нем запускаются джобы и имеет диск для хранения данных (для hdfs).
кластер чего? HDFS?
EN
кластер чего? HDFS?
hdp (hdfs, etc..)
EN
ну да проблема с тем, как отключить ноду правильно, не потерять данные... ни разу не делал, гугл не подсказал нормально..
была бы реплика 3, 40 машин, одну бы удалили и не парились вообще, а тут всего 2 датаноды, фактор 2 сейчас..
была бы реплика 3, 40 машин, одну бы удалили и не парились вообще, а тут всего 2 датаноды, фактор 2 сейчас..
AZ
то есть вы хотите снизить репликацию до 1 и при этом боитесь потерять данные?
EN
там мелкие данные < 5Тб, конечно, не хочется ничего терять, есть диски на мастере и воркере... просто хочется перенести ...
AZ
1) поставить RF1 всем данным
2) декоммисовать нужную датаноду
2) декоммисовать нужную датаноду
АЖ
1) поставить RF1 всем данным
2) декоммисовать нужную датаноду
2) декоммисовать нужную датаноду
3) страдать
AZ
АЖ
Я только не понял, в чем проблема. Нужно убрать датаноду, или паника в том, что какие-то данные могут быть с RF < 2?
EN
второе верно, есть данные RF1 сейчас