Кстати, другой вопрос про ярн)
Под ярн обычно отдают где-то 80% ядер машины
То есть на машине с 56 ядрами примерно 44 под ярн

Означает ли это, что джобы точно не отожрут больше 44 ядер всего или системные вызовы не считаются?)
У меня почему-то бывают ситуации, когда kernelspace отжирает по 30 ядер, остальное съедено пользователем. И утилизация проца полная.
Хотя может не стоило под ярн 44 ядра отдавать, многовато

P.s на тачке только нодменеджер, датанода, трифт от хбейза

В документации хортона написано, что когда ядер много, то можно до 87,5% отдавать.

Можно іногда і оверселліть

Kernelspace 30 ядер?  0_0

Абсолютно идентичная конфигурация, всем всего хватает

Пару раз в день бывает
Но обычно норм
На машинах постарее (где ядер поменьше) такого не происходит

Может какая джоба иошная прилетает)
Но вроде ярн всё равно не должен вылезать за свои пределы 😢

Ты это, отмониторь, это ж вообще не норма

Да, на интеле вроде хорошо заходит
Но тут я боюсь что-то трогать)
Я хотела rpc потюнить ещё, подумала что процу совсем плохо станет

По атопу не оч понятно
Куча java)

ps aux

Надо выловить момент)

Или мониторилка, которая процессы мониторит, у меня датадог, там можно историю процессов хранить

Круто, спасибо)

Алерт накати на оверрасход ядер, заходи сразу и ищи))

Htop вроде показывает, его можно растянуть на два монитора и всё видно😀

Крон написать :D

вообще можно оверкоммитить, если не используются изоляция по cgroups (вроде сейчас у всех отключено, бывают кернелпаники от него) yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage

Атоп тоже показывает, но для всяких тредов просто java
Ни флажков ни названия демона)
Вот и гадай что этот за покемон