В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 July 03

A

Alex in Data Engineers
посмотрите сколько у вас очередей и какие на них лимиты выставлены
всё ли выделено под указанного пользователя от которого вы запускаете
источник
13:56пожаловаться#1

A

Alex in Data Engineers
1) посмотреть сколько очередей
2) прибить ненужные
3) поднять yarn.scheduler.capacity.maximum-am-resource-percent повыше если приложений много и мастера наравне с воркерами кушают
источник
13:57пожаловаться#2

A

Alex in Data Engineers
проблема что добавлять очередя динамически можно, а вот убивать нет =\ (по крайней мере из последнего что я знаю, может что-то изменилось)
источник
13:58пожаловаться#3

A

Alex in Data Engineers
в данный момент может действительно у вас один пользователь
но в процессе тестов могли слать от всяких-разных
в итоге в конкретный момент может быть и один, но для остальных зарезервированное место осталось висеть

натыкался уже у себя пару раз, в итоге тоже не мог понять почему кластер пустой, но новые задачи не принимает
источник
14:00пожаловаться#4

EV

Eduard Vlasov in Data Engineers
ага, я вижу тут некие 2 очереди
источник
14:00пожаловаться#5

EV

Eduard Vlasov in Data Engineers
Сейчас покопаю сюда, спасибо
источник
14:00пожаловаться#6

A

Alex in Data Engineers
есть глобал default и есть ваша core
источник
14:01пожаловаться#7

A

Alex in Data Engineers
14 гигабайт на неё разрешено
что с учетом yarn.scheduler.capacity.maximum-am-resource-percent=0.5 говорит в 7гб для мастеров
источник
14:01пожаловаться#8

Y

Yerma in Data Engineers
День добрый
источник
14:02пожаловаться#9

EV

Eduard Vlasov in Data Engineers
Если что это EMR и почти все по дефолту
источник
14:02пожаловаться#10

Y

Yerma in Data Engineers
Можете поделиться материалами Hadoop&spar. Любыми. Заранее спасибо!
источник
14:02пожаловаться#11

A

Alex in Data Engineers
Eduard Vlasov
Если что это EMR и почти все по дефолту
с ним не работал =) всегда свои кластера на железе, поэтому ничего не скажу
источник
14:02пожаловаться#12

EV

Eduard Vlasov in Data Engineers
Alex
с ним не работал =) всегда свои кластера на железе, поэтому ничего не скажу
Пойду смотреть где конфигурятся очереди, спасибо за наводку! :)
источник
14:04пожаловаться#13

EV

Eduard Vlasov in Data Engineers
А, я понял чо это за дичь. В EMR есть 3 типа нод: MASTER, CORE, TASK. По дефолту в EMR AM не запускается нигде кроме CORE нод, их у меня 2 по 7168. Фактор 0.5 дает для мастеров 7168 Мб памяти и не больше.
источник
14:08пожаловаться#14

EV

Eduard Vlasov in Data Engineers
Следовательно скейл ап CORE нод или увеличение фактора поможет.
источник
14:09пожаловаться#15

A

Alex in Data Engineers
да, если там только мастера, то вообще в 1 ставить и не париться
источник
14:13пожаловаться#16

EV

Eduard Vlasov in Data Engineers
А как перезапустить RM не поломав засабмиченные таски? 😅
источник
14:14пожаловаться#17

ЕГ

Евгений Глотов in Data Engineers
А вроде он их не роняет, если я правильно помню
источник
14:14пожаловаться#18

UD

Uncel Duk in Data Engineers
Если рекавери настроен, просто вынести его
источник
14:14пожаловаться#19

ЕГ

Евгений Глотов in Data Engineers
Он просто новые ресурсы не выдаёт
источник
14:14пожаловаться#20