Size: a a a

Церковь метрик

2020 April 10

A

Asgoret in Церковь метрик
код не дам, не проси, но идея проста. Накорябан оператор на го который смотрит на тег развертывания (в енве засунуто) и по тегу работает так или иначе. если кубер, то тащит куберовскую настройку, если авс или гсе...идею ты понял) всякие дашборды и прочую муть тянет с гита, минус только гит огромный вышел (платформа->проект->стадия (прод\дев))
источник

VS

Vasilyev Sergey in Церковь метрик
Asgoret
код не дам, не проси, но идея проста. Накорябан оператор на го который смотрит на тег развертывания (в енве засунуто) и по тегу работает так или иначе. если кубер, то тащит куберовскую настройку, если авс или гсе...идею ты понял) всякие дашборды и прочую муть тянет с гита, минус только гит огромный вышел (платформа->проект->стадия (прод\дев))
ух как у вас интересно. А не сложно в поддержке?
источник

AS

Aleksey Shirokikh in Церковь метрик
хочется как то организовать иерархию что ли или классификацию алертов по применимости.
типа рулы которые считаютcя для node_exporter почти все нужно тащить во все окружения. что на бареметал, что в виртуалки.
за исключением mdadm алертов. в виртуалках такие считать не нужно как и собирать такие данные.
источник

AS

Aleksey Shirokikh in Церковь метрик
Asgoret
код не дам, не проси, но идея проста. Накорябан оператор на го который смотрит на тег развертывания (в енве засунуто) и по тегу работает так или иначе. если кубер, то тащит куберовскую настройку, если авс или гсе...идею ты понял) всякие дашборды и прочую муть тянет с гита, минус только гит огромный вышел (платформа->проект->стадия (прод\дев))
вот я пока соображаю что это должна быть отдельная репа.
в ней иерахия типа
product только алерты конкретного продукта
team алерты от конкретной команды.
shared -- инфровые.
возможно что shared нужно распилить на hw, vm, kube
источник

AS

Aleksey Shirokikh in Церковь метрик
но потом из этой репы надо будет доставать правила для конкретного прометея.
источник

AS

Aleksey Shirokikh in Церковь метрик
хм. всем спасибо.
видимо одна репа её клонить во все прометеи. а там делать так вот
rule_files:
- /etc/prometheus/rules/<team>/*.yml
- /etc/prometheus/rules/<product>/*.yml
- /etc/prometheus/rules/shared/<hw_type>/*.yml
источник

IE

Ivan EKbfh in Церковь метрик
конфиг прома менять в зависимости от енв?
источник

AS

Aleksey Shirokikh in Церковь метрик
конфиг прома так и так рендерить.
источник

A

Andor in Церковь метрик
Aleksey Shirokikh
хм. всем спасибо.
видимо одна репа её клонить во все прометеи. а там делать так вот
rule_files:
- /etc/prometheus/rules/<team>/*.yml
- /etc/prometheus/rules/<product>/*.yml
- /etc/prometheus/rules/shared/<hw_type>/*.yml
мне кажется тебе нужна система управления конфигурацией ;)
источник

AS

Aleksey Shirokikh in Церковь метрик
Andor
мне кажется тебе нужна система управления конфигурацией ;)
она и нужна.
источник

A

Asgoret in Церковь метрик
Aleksey Shirokikh
она и нужна.
готового решения не видел, только велосипеды
источник

AS

Aleksey Shirokikh in Церковь метрик
Asgoret
готового решения не видел, только велосипеды
есть почитать какие велосипеды бывают ?
источник

A

Asgoret in Церковь метрик
Aleksey Shirokikh
есть почитать какие велосипеды бывают ?
на ансибле
источник

A

Asgoret in Церковь метрик
т.е в прямом смысле слова ты описываешь плейбук, которые в зависимости от енва деплоит туда вот так и туда вот так
источник

AS

Aleksey Shirokikh in Церковь метрик
я чот наверное хотел с другой стороны. у меня промы не все подконтрольные мне. я думал что бы они забирали себе рулы а не пушить на них.
источник

AS

Aleksey Shirokikh in Церковь метрик
но короче видимо мой вариант это управление списком того что подгружать со стороны директивы rule_files:
источник

A

Andor in Церковь метрик
твоё решение вполне приемлимо тогда
источник

AS

Aleksey Shirokikh in Церковь метрик
я в итоге могу "рекомендовать рулы" а команды могут воспользоваться рекомендациями.
источник

A

Asgoret in Церковь метрик
Коллеги помогите настроить пром в области дискавери внутри куба.

ЧЯДНТ?
  kubernetes_sd_configs:
 - role: service
   namespaces:
     names:
     - openshift-monitoring
   services:
     names:
     - pinger-dev

Error: field services not found in type kubernetes.plain" а как тогда?
источник

A

Andor in Церковь метрик
Нет такого поля
источник