Телеграмм чат группы hadoopusers страница 3586

Size: a a a

Data Engineers

2444 membersпожаловаться на группу

2021 April 29

Evgeny in Data Engineers

timelineserver / historyserver / sparkhistory

источник

18:03пожаловаться #1

Ринат in Data Engineers

Добрый день, можете подсказать что не так делаю. Есть spark с двумя воркерами. В панели спарка я их вижу. Но когда отправляю приложение на выполнение получаю следующую ошибку
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

источник

18:03пожаловаться #2

Anton Zadorozhniy in Data Engineers

это YARN приложенек и спарка, а для самих хадуп сервисов? нн, дн, нм, рм и вот это все?

источник

18:04пожаловаться #3

Grigory Pomadchin in Data Engineers

ресурсов мало

источник

18:04пожаловаться #4

Grigory Pomadchin in Data Engineers

жоба трубует больше чем 2 кора и 2 гб памяти

источник

18:04пожаловаться #5

ИК

Иван Калининский... in Data Engineers

обычно это варнинг, много раз повторяется в цикле. Потом приложение получает ресурсы и таки работает. Ну, или валится с ошибкой )

источник

18:06пожаловаться #6

Evgeny in Data Engineers

на данный момент - локально, но есть trivial тикет сливать это все куда-нибудь в graylog\elastic. В целом, мониторинга хватает

источник

18:06пожаловаться #7

Ринат in Data Engineers

Понял, спасибо

источник

18:07пожаловаться #8

Anton Zadorozhniy in Data Engineers

ну это вы в самом начале пути, я имел в виду уже полный набор опсовых фич в это части: центральный лог менеджмент, метрики хостов и приложений, алертинг

источник

18:09пожаловаться #9

Ринат in Data Engineers

Это значит, оно выполнилось или упало?

источник

18:09пожаловаться #10

Ринат in Data Engineers