благодарю

https://landing.google.com/sre/sre-book/chapters/monitoring-distributed-systems/
https://docs.google.com/document/d/199PqyG3UsyXlwieHaqbGiWVa8eMWi8zzAn0YfcApr8Q/edit
https://orangematter.solarwinds.com/2017/10/05/monitoring-and-observability-with-use-and-red/

еще мне понравилась эта статейка https://habr.com/ru/company/itsumma/blog/448602/

огроменное спасибо.

будем изучать

Коллеги, добрый день.

Начал настраивать Prometheus + Grafana + Alertmanager для замены Zabbix + Grafana. И почти сразу возникло много вопросов:
1) В Prometheus нет возможности автоматически добавлять серверы в Targets?
2) То, что я вижу в :9182/metrics для машин с windows, это все доступные метрики? Как можно мониторить то, чего там нет? Например через zabbix я мог запускать скрипт на машине с Exchange, который возвращал количество писем в очереди и по этим данным строился график в Grafana. Прометей так может или нужно что-то дополнительное ставить? Мне советовали мониторить очередь через ELK, но не знаю лучший ли это вариант.
3) Нужен ли Telegraf, чтобы логи не терять в случае недоступности Прометея? Или он нужен только чтобы слать данные в InfluxDB?  
4) Я нашёл одну готовую дашборду как раз по Exchange - https://grafana.com/grafana/dashboards/4755, на скриншоте увидел часть вещей, которые хотел бы использовать. Но так как у меня нет InfluxDB, я его не могу использовать. Насколько вообще необходимо ставить InfluxDB? Смена базы расширяет функционал или как?

Извините если вопросы глупые, очень большой объем информации, сложно разобраться. Буду признателен если ещё посоветуете материалы по этой теме.

а что побудило к такой замене? модные тренды?

Zabbix старый (именно версия, которая сейчас у нас) + есть время и возможности понастраивать то, что стильно, модно, молодежно

Имхо.. если у вас куб то Прометей, иначе это бред

Почему? Вроде на него переходят вообще все сейчас.

Спорное заявление.
Есть распределение?
Посчитали, сколько людей внедряет тот же Zabbix сейчас и 5 лет назад?

Инстинкт толпы, лично по мне Zabbix более продвинут как мониторинг (если умеешь его готовить)

Если пытаться делать мониторинг кубера на Zabbix - там все будет построено на автообнаружениях. А у LLD rules Zabbix есть ограничения, не позволяющие приблизиться к той гибкости, с которой Prometheus оперирует лейблами.

Пока есть ощущение что все равно надо попробовать настроить у себя и тогда можно будет сравнить что лучше подходит. Не знаю. Вот у prometheus вроде более удобная система алертов и можно прогнозировать возможные проблемы на основе имеющихся данных за последние n-дней

Добрый день!
Мучаю logstash, нужно чтобы timestamp брался из логов которые прилетают в logstash.
Пробовал вот так:

filter {
  date {
    match => [ "message", "MMM dd HH:mm:ss", "MMM  d HH:mm:ss" ]
  }
}

Сама строка в логах выглядит как

Apr 10 18:37:54 alala %OLT: Interface EPON0/10:31's CTC OAM extension negotiated successfully!

не уверен в двух моментах.
первое - возможно надо дату вынести в отдельное поле и потом уже ловить date{}
второе - надо бы наверное указать еще target => “@timestamp” чтобы логстеш понимал чего ж ему с обретенными знаниями делать

filter {
  date {
    match => [ "message", "MMM dd HH:mm:ss", "MMM  d HH:mm:ss" ]
  }
}

Apr 10 18:37:54 alala %OLT: Interface EPON0/10:31's CTC OAM extension negotiated successfully!

Работать не будет,  смотрите на grok

Подправил немного, и для date использую timestamp исходя из grok

Вот пример из моей практики