OR on() vector(0) ?

Да нет просто кнопка в опциях, если ты об этом

Она не работает )

Падажжи, так все верно, оно соединяет если на графике есть две точки, если соседняя с корой нужно объединить выпадает за границы то она не присоединяется)

Это как по мне даже удобно.

И если ты указываешь что null == 0 то по идее он не должен соединять напрямую.

Предположим ситуацию у тебя хост перестал отдавать метрики node_exporter какое то время 3 минуты например, смотришь на графики а там все ровно) нет падения. А алерт есть

Наверное нужно алерты настраивать иначе - мне графана в этом плане не нравится если честно.
Но с точки зрения графаны это не ее проблемы - не отдает значит что-то случилось.
Может здесь кто-то подскажет тебе по делу))

Ну добавь алерт на график

Это не то что нужно. Хочется на графиках в режиме line видеть все таки отсутствие данных.

Подскажите, у кого есть опыт с написанием экспортеров prometheus на Go. Можно ли удалить метрики, передавая в Delete набор labels меньше, чем в определении метрики.

То есть например у нас в метрике provider, domain

А я хочу удалить все метрики, где есть provider=nslookup, но не хочу вызывать Delete для каждого значения domain

metric{provider="nslookup", domain="domain1"}
metric{provider="nslookup", domain="domain2"}
metric{provider="do", domain="domain2"}

Хочу удалить только для провайдера nslookup
metric.Delete(prometheus.Labels{"provider": "nslookup"})

Вот так удалять нельзя, нужно указывать все labels со значениями.

Может можно как-то выбрать метрика с подмножеством label и потом их удалить?

Подскажите, могу ли я запросить конкретное значение метрики у Прометея, которое было минуту назад?

Хочу сделать запрос вида some_metric - some_metric([1m]) < 0

Спасибо, как раз нашёл это Issue

возможно вам нужно delta() https://prometheus.io/docs/prometheus/latest/querying/functions/#delta или что-то из этой серии

вероятно (some_metric - some_metric offset 1m) <0

Докладываю. 53к метрик, 6 часов работы, 5 секунд интервал. Размеры /storage:
Пром: 1.4GB.
VM + vmagent: 114MB!!!
Жалко замеры с RAM не сделал, но на моих то крохах…

а сколько меток у каждой метрики и какая кардинальность этих меток?

У каждой метрики, три метки. Две: идентификаторы, инты в 5-7 знаков, первый Id имеет дубли, 2-5 рандомно. Второй уникальный. Третье я метрика: имя+фамилия+имя+фамилия.
Реальных данных я пока не имею, накидал быстро, как попало.