я это проходил когда пытался брать метрику раз в сутки. В рассылке авторы прома сказали что 5 минут это пограничное время. Пришлось раз в 4 минут снимать, т.к. данные одни и теже то жалось хорошо

всем привет. в облаке в кластере k8 установлен prometheus-operator  и стоит опция retention 30d, Сегодня пришел алерт что скоро место кончится:
has only 17.59% available space lef
А через час prom запустил garbage collect  и все метрики снес:
level=info ts=2020-02-06T13:00:04.316Z caller=head.go:586 component=tsdb msg="head GC completed" duration=71.736913ms
level=info ts=2020-02-06T13:00:05.758Z caller=head.go:656 component=tsdb msg="WAL checkpoint complete" first=2 last=3 duration=1.441751668s

Как то можно настроить, чтобы они хранились 30 дней без таких вот очисток?

для этого можно запускать скприт как сервис в бесконечном цыкле. а метри после сбора перемещать в  /var/lib/node_exporter/ (или куда он у вас смотрит)

В смысле "снёс"?

все метрики собранные за 2 недели пропали. место на ноде освободилось.

Прометей так не делает, он удаляет двухчасовые интервалы, старее указанного retention time

Други, есть кто, кто для мониторинга кафки одновременно пользует kafka-exporter (https://github.com/danielqsj/kafka_exporter) и jmx-exporter?
есть стойкое желание оставить только jmx-exporter, т.к. он все равно нужен, но, похоже, из него можно достать не все, что можно из kafka-exporter-а. а два epxporter-а - похоже на какой-то overhead

А почему хотите отказаться от одного из экспортеров?

Други, есть кто, кто для мониторинга кафки одновременно пользует kafka-exporter (https://github.com/danielqsj/kafka_exporter) и jmx-exporter?
есть стойкое желание оставить только jmx-exporter, т.к. он все равно нужен, но, похоже, из него можно достать не все, что можно из kafka-exporter-а. а два epxporter-а - похоже на какой-то overhead

у нас они оба ...  и мысли небыло какой то убирать ...  http://i.imgur.com/Vu5ppLQ.png

дело в том, что метрики отдает скрипт-экспортер. а вот скрипт, который выполняет экспортер - сам по себе очень долгий (очень много ресурсов. с которых он соирает данные). скрипт может и минуту выполняться

А это я проходил :)
Остановился на таком варианте: телеграф за один интервал дергает один и тот же скрипт-экспортер с разными параметрами.

В зависимости от параметра, скрипт собирает и отдает метрики с определенного ресурса.