Пром не подходит.
Нужен именно пуш, так как нужно отслеживать старты/стопы очень часто выполняющихся заданий.

Ок, досыплю информации.
Есть задания, типа k8s cronjobs, которые работают с периодичностью от 2-ух секунд до нескольких часов, в зависимости от типа.
Иногда задания одного типа запускаются параллельно, а иногда могут и не запуститься вовсе. Именно это нужно отслеживать по метрикам.

я для этого healthchecks.io использую. Кронджоба запускается, отправляет POST started, если валится отправляет POST failed, если всё ок, отправляет POST success. При этом healthchecks.io знает про расписание, и даже если ему не придёт POST started/success запишет, что таска не запускалась.

self-hosted решения подобного типа тоже есть. Дальше можно уже от них отправлять метрики в VM/prom/whatever

Спасибо, интересно. Из self-hosted какие, например?

Online Monitoring Day - 15 апреля.
Просим вас не забыть зарегистрироваться на мероприятие (https://eventuer.timepad.ru/event/1247459/). Там будет ссылка куда направлять ваши браузеры
Программа:

10:00 - Free Talk, круглый стол со спикерами “Коронавирус, новые тренды, новые компоненты технологического стека, прогнозы”
11:00 - Илья Аблеев, представитель Zabbix Russian Community, тема доклада уточняется
11:40 - Кирилл Малеванов, технический директор, Selectel, “Мониторинг электронагрузки в серверных стойках”
12:20 - Экспертная сессия PRTG, Вячеслав Милованов, системный инженер
13:00 - Экспертная сессия Grafana Labs, Александр Зобнин, разработчик
13:40 - Завершение

Конференция будет транслироваться на YouTube канале - https://www.youtube.com/channel/UCyQ9sLBi9F3Mo_LRQrJ6RNg

Будем рады вас видеть онлайн!

Добрый день. Может кто подскажет, чем обусловлена архитектура Prometheus с использованием агента для каждого сервиса? Почему один агент не может экспортить множество метрик, как это делает telegraf (опуская разницу push/pull). Может кто-нибудь объяснить? Спасибо

Меня интересует вопрос, почему не сделать вариант с blackbox експортер, который мог бы работать с множетвом сервисов. Т.е. Сама задумка и принцип работы Prometheus очень хороша, но пугает то, в больших масштабах мне нужны тысячи агентов. Причем на один запущенный сервис, нужно буде запустить несколько экспортеров.

Можно использовать netdata вместе с промом. Но лучше конечно использовать netdata не с промом, а с нормальной TSDB.

Добрый день. Может кто подскажет, чем обусловлена архитектура Prometheus с использованием агента для каждого сервиса? Почему один агент не может экспортить множество метрик, как это делает telegraf (опуская разницу push/pull). Может кто-нибудь объяснить? Спасибо

Да, и есть примеры, где один экспортер, может обслуживать несколько точек. Но тогда конфигурация смещается в агента. А это уже не хорошо