AV
И что им не подошли cortex, thanos и m3db
Size: a a a
2020 January 18
AD
надо сказать, что с английскими сабами этот ваш японский не так уж и сложен!
2020 January 19
AP
DZ
Гайз квик квешн:
Хочу в метриках Прома видеть когда приходил ООМ. Есть готовое что-то?
Хочу в метриках Прома видеть когда приходил ООМ. Есть готовое что-то?
Я накостылил скриптик на mtail -
counter processes_oom_killed_total
counter processes_oom_killed_by_name by label
/Killed process (\d+) \((\S+)\) total-vm:\d+kB, anon-rss:\d+kB, file-rss:\d+kB$/ {
processes_oom_killed_total++
processes_oom_killed_by_name[$2]++
}VS
Я накостылил скриптик на mtail -
counter processes_oom_killed_total
counter processes_oom_killed_by_name by label
/Killed process (\d+) \((\S+)\) total-vm:\d+kB, anon-rss:\d+kB, file-rss:\d+kB$/ {
processes_oom_killed_total++
processes_oom_killed_by_name[$2]++
}Пасиб большое!
Сохранил на будущее. Так как ядро у меня меньше чем 4.13 я пока без этой опции в vmstat (там ниже я нашел почему). Пока настроил аларм через логи в CloudWatch
Сохранил на будущее. Так как ядро у меня меньше чем 4.13 я пока без этой опции в vmstat (там ниже я нашел почему). Пока настроил аларм через логи в CloudWatch
DZ
а, ну и натравил его на /var/log/kern.log
Я хотел еще и статистику по именам процессов собирать
Я хотел еще и статистику по именам процессов собирать
DZ
туда же и цифры памяти впихать можно, да и кучу всего другого, при желании.
VS
а, ну и натравил его на /var/log/kern.log
Я хотел еще и статистику по именам процессов собирать
Я хотел еще и статистику по именам процессов собирать
Мы тоже хотели. Но потом подумали что проще уж открыть логи на этом месте и все детально изучить (CloudWatch позволяет из аларма переходить на то место в логах где и был аларм)
DZ
ну да, клаудвотч тоже вариант, если он есть
VS
туда же и цифры памяти впихать можно, да и кучу всего другого, при желании.
Прикольно. Подумаю над этим. По этим метрикам можно же анализ строить о том как повышали лимиты, когда происходит перелимит и т.д.
VS
а, ну и натравил его на /var/log/kern.log
Я хотел еще и статистику по именам процессов собирать
Я хотел еще и статистику по именам процессов собирать
А вы блэкбокс экспортер для этого используете? Или какой-то кастомный экспортер?
DZ
mtail сам себе экспортер, ну и в графит или статсд может метрики слать
DZ
пишешь какой хочешь скрипт, говоришь где слушать логи - он все сам делает
VS
mtail сам себе экспортер, ну и в графит или статсд может метрики слать
О! Спасибо
2020 January 20
RK
а как сейчас решается проблема?
AP
Никак, просто ждём, когда он протупится
AP
(И Prometheus, и Брайн)
SS
всем привет, хочу чтобы alertmanager отправлял уведомление в зависимости от правила.
подскажите что почитать что настроить это?
подскажите что почитать что настроить это?
A
всем привет, хочу чтобы alertmanager отправлял уведомление в зависимости от правила.
подскажите что почитать что настроить это?
подскажите что почитать что настроить это?
он всегда это делает в зависимости от правила