Коллеги, из предложенных решений я понял, на мой взгляд, что оптимальным решением будет настроить remote_write на стороне prometheus в кубере.
Настраивается это довольно просто. В документации об этом написано.
Но вот чего я не понял, так это как настраивать основной prometheus для того, что бы он принимал эти метрики.
Как я понял, remote_read для этого не подходит, так как это другая технология и предназначена для самостоятельного сбора метрик Прометеем с других систем. То есть как обычный скрепинг по pull методу.
В случае remote_write Прометей из кубера будет выполнять push в основной Прометей.
Объясните мне, тупому, как это настроить.

В документации Прометея я не нашёл информации именно как настроить связку Прометей -> Прометей.
Только варианты с Прометем и другими системами.

https://prometheus.io/docs/prometheus/latest/federation/ ?

Да, я читал про федерацию.
Но вчера в обсуждении в этом канале было сказано, что для такой схемы федерация не лучшее решение из-за вероятных высоких таймингов

Сам прометей не поддерживает remote_write в себя.

Вот и я так понял. Однако это решение предлагали и здесь и в канале про кубер.
И это ввело меня в тупик.
То есть либо использовать какое-то промежуточное хранилище типа TSDB или федерация?

Да

Ясно. Благодарю.

То вы просто не только в еластик, а еще и в клаудвотч не умеете 🙂

У кого-нибудь есть опыт написания тестов на алерты в Prometheus?

Пару недель назад такой вопрос был, все печально пока что

Никак не возьму в толк, что значит interval - https://github.com/prometheus/prometheus/blob/master/docs/configuration/unit_testing_rules.md

у меня работает федерация. проблем нет.
касательно таймингов. ну не успеют прийти метрики пару раз - ничего страшного не случится 😕

👍

Сел разбираться с метриками, читаю вот статью https://medium.com/@valyala/promql-tutorial-for-beginners-9ab455142085

Смотрю, а автор-то знакомый @valyala :) Спасибо за статейку, а то прометеевские доки какие-то убогие, без бутылки не разобраться.

лучшее решение - попробовать одновременно записывать данные из прома в эластик и вм и потом выбрать более подходящее решение. Пром поддерживает одновременную запись данных в несколько ремоут стореджей, так что этот вариант несложен в реализации

Всем доброго дня. Не подскажите про плагин [[inputs.postgresql_extensible]] для телеграфа, к сожалению запрос который я написала в графану метрики не пишет

причем даже если упростить запрос ничего в графану не попадает

никто не сталкивался с этим плагином?

а он не тестируется, как системный, да?