A
видимо хочется как в заббиксе: если есть аларм "веб-сервер не отвечает" - перезапустить сервис
а ну да, актуальненько, я скоро буду такую проблему решать - пока сделал через вебкухи и кастоменые штуковины
Size: a a a
2020 January 17
A
видимо хочется как в заббиксе: если есть аларм "веб-сервер не отвечает" - перезапустить сервис
Чтобы оно по ssh ходило и выполняло команды от рута?
A
но я тут вижу проблему отслеживания мониторинга, если вебхуки не работают то как об этом узнать :)
A
но я тут вижу проблему отслеживания мониторинга, если вебхуки не работают то как об этом узнать :)
Мониторингом ;)
A
we need to go deeper? )
A
Метрики же вроде есть про это
YZ
а ну да, актуальненько, я скоро буду такую проблему решать - пока сделал через вебкухи и кастоменые штуковины
вроде stackstorm для таких целей есть. но я не пробовал. там авторизация через жопу
A
игрался, не зашло - больше serverless понравилось для этого (все равно надо только вебкухи туда-сюда пересылать)
A
это, туплю чета
а если я хочу создать отдельные errrateless02:up для каждого из лейблов - это можно сделать в этом же правиле, или надо создавать отдельные правила?
- name: sli-errate-le20в этом правиле errrateless02:up создается без учета лейблов http_request_duration_milliseconds_count
interval: 5m
rules:
- record: errrateless02:up
expr: sum(rate(http_request_duration_milliseconds_count{status=~"[5].."}[5m])) / sum(rate(http_request_duration_milliseconds_count[5m])) < bool 0.2
а если я хочу создать отдельные errrateless02:up для каждого из лейблов - это можно сделать в этом же правиле, или надо создавать отдельные правила?
PR
ты про штуку, которая делает всякое разное через вебхуки?
ну да. Других вариантов нет, но вебхуки позволяют сделать довольно много. Это дичь, извращение, но работать будет
PR
по хорошему там нужен механизм обратной связи какого-то рода, в стиле "этот сервис перезагружается, убрать из мониторинга на 10 минут", но на безрыбье придется есть лягушек
A
по хорошему там нужен механизм обратной связи какого-то рода, в стиле "этот сервис перезагружается, убрать из мониторинга на 10 минут", но на безрыбье придется есть лягушек
Метрика?
PR
Метрика?
почти. смотри, у тебя есть метрика, которая говорит, что что-то сломалось. За ней вызывается действие, которое должно это что-то починить, но на время починки оно может спровоцировать каскадный отказ по метрикам (ребутнул базу - все приложения полегли) на какое-то время. По этому на время аварии надо исключить сервисы из мониторинга, иначе ребут будет вечным, особенно, если сервис тяжелый, в стиле JBoss
A
Ну ты можешь зажигать специальную метрику, когда едешь что-то жырное рестартить и по этой метрике делать алерт с inhibit
A
Даже будет работать
A
Да, это всё не в коробке
PR
да, это такой выход на улицу через окно. можно, но неудобно. В идеале метрика должна зажигаться сама. Плюс тут надо как-то обязать алертменеджер проверять, что:
- экшн действительно отправился. Его не надо отправлять повторно
- экшн выполнился (а если не выполнился - отправить его повторно или зажечь аварию с более высоким приоритетом)
- экшн действительно отправился. Его не надо отправлять повторно
- экшн выполнился (а если не выполнился - отправить его повторно или зажечь аварию с более высоким приоритетом)
A
да, это такой выход на улицу через окно. можно, но неудобно. В идеале метрика должна зажигаться сама. Плюс тут надо как-то обязать алертменеджер проверять, что:
- экшн действительно отправился. Его не надо отправлять повторно
- экшн выполнился (а если не выполнился - отправить его повторно или зажечь аварию с более высоким приоритетом)
- экшн действительно отправился. Его не надо отправлять повторно
- экшн выполнился (а если не выполнился - отправить его повторно или зажечь аварию с более высоким приоритетом)
Кому должна?
PR
в идеале)
PR
скажем так, как я хотел бы, чтобы этот конструкт работал