PA
В sys
Size: a a a
2019 July 01
N
У меня была схожая проблема на сервере с убунту, там был сервис, который при kernel error ах не мог найти а чем проблема, отъедал все ядра и вешал систему
N
Вылетело из головы, как назывался
N
Атоп тоже показывает, но для всяких тредов просто java
Ни флажков ни названия демона)
Вот и гадай что этот за покемон
Ни флажков ни названия демона)
Вот и гадай что этот за покемон
Может по lsof станет понятнее, кто это?
PA
Надо выловить момент)
Но я попробую накронить что-нибудь вменяемое, спасибо за идею
Но я попробую накронить что-нибудь вменяемое, спасибо за идею
AZ
strace по процессу показывает на какие вызовы он тратит время
A
Самый первый вопрос: изоляция cgroups использует или нет?
Если нету изоляции то хоть ты одно ядро попроси, но потом можешь утилизировать все что только можно
Если нету изоляции то хоть ты одно ядро попроси, но потом можешь утилизировать все что только можно
PA
Не использует
PA
То есть он может отъесть больше чем выделено под nodemanager?
PA
За что?(
A
Да, он может запросить вообще 1 vcpu и создать 100500 нагруженных потоков
A
И утилизирует всю машинку
PA
А как это разруливается? Прибивать сигруппами не очень хочется(
И странно что такое происходит только на нескольких машинах
И странно что такое происходит только на нескольких машинах
A
вообще можно оверкоммитить, если не используются изоляция по cgroups (вроде сейчас у всех отключено, бывают кернелпаники от него)
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usageA
Вот поэтому выше и сказали про cgoups
PA
Оверкоммитить - я поняла что увеличивать количество ядер в настройках нодменеджера (больше чем физическое)
A
Может конфигурация так совпала, на остальных спайки что есть быстро проходят
A
Да, но возьмем абстрактный spark worker
Он запросил 3 vcpu, ему его выдали, он на эти 3 vcpu запустил 3 рабочих потока.
Вроде все ок
Потом мы вспоминаем что у jvm ещё есть потоки на gc, jit, в самом спарке потоки на io, и всякие blockmanager
Итого вопрос: сколько потоков-ядер сожрёт воркер :)
Он запросил 3 vcpu, ему его выдали, он на эти 3 vcpu запустил 3 рабочих потока.
Вроде все ок
Потом мы вспоминаем что у jvm ещё есть потоки на gc, jit, в самом спарке потоки на io, и всякие blockmanager
Итого вопрос: сколько потоков-ядер сожрёт воркер :)
AZ
вообще надо понять что за джоб, что делает, поговорить с автором.. 30% sys это в любом случае не очень стандартно, мб есть что-то что пользователь не знает или делает не так
A
Поэтому без изоляции полагаясь только на уоличество vcpu это как "мы джентльмены друг друга не обманываем"