Size: a a a

Церковь метрик

2020 March 03

A

Andrey in Церковь метрик
привет. Данные из прошлого можно инжектить, но нужно помнить про кэш ответов, который по умолчанию считает, что все ответы с конечным временем старше пяти минут больше никогда не меняются. Если во время заливки старых данных делать запросы по этим данным, то они закэшируются при первом запросе, поэтому последюущие запросы не будут возвращать данные, добавленные после первого запроса. Это можно решить несколькими путями:
1) отключить кэш запросов на время заливки данных с помощью флага -search.disableCache
2) увеличить интервал времени от текущего момента, на котором данные не кэшируются, с помощью флага -search.cacheTimestampOffset. По умолчанию он равен 5 минутам
3) сбросить кэш после заливки данных с помощью обращения к /internal/resetRollupResultCache
См. подробности https://github.com/VictoriaMetrics/VictoriaMetrics/blob/master/README.md#backfilling .
источник

G

GithubReleases in Церковь метрик
VictoriaMetrics/VictoriaMetrics tagged: v1.34.2
Link: https://github.com/VictoriaMetrics/VictoriaMetrics/releases/tag/v1.34.2
Release notes:
### Changes since v1.34.1

*   ENHANCEMENT: vmagent: add `-remoteWrite.urlRelabelConfig` for applying individual relabeling for each `-remoteWrite.url`. See [#308](https://github.com/VictoriaMetrics/VictoriaMetrics/issues/308) and [#320](https://gith...
More
источник
2020 March 04

A

Anatoliy in Церковь метрик
Поясните пожалуйста кто prometheus в проде юзает, у вас насколько большая страница по /metrics выходит?
источник

A

Andor in Церковь метрик
Смотря где
источник

A

Anatoliy in Церковь метрик
ну меня интересует вообще, т.е. я сейчас должен добавить метрики которые дадут метров 10-15 прироста размера ответа, вроде и не особо страшно должно быть, локальная сеть, быстрые ответы, но чет сомнения гложут, на такие объемы я пока не рассчитывал. Для меня метрики это что-то более обобщенное, а тут файл будет только расти в размерах, что.. не есть хорошо, но и вариантов особо других не вижу
источник

A

Anatoliy in Церковь метрик
т.е. выходит что-то вроде labelNames: ['id1', 'id2', 'os', 'type'] , дико не есть хорошо, но в базу такое писать будет еще веселее
источник

AS

Aleksey Shirokikh in Церковь метрик
Лейблы id и id2... Вам точно нужен пром?  Расскажите про задачу?
источник

A

Anatoliy in Церковь метрик
Aleksey Shirokikh
Лейблы id и id2... Вам точно нужен пром?  Расскажите про задачу?
мониторинг пуш уведомлений, в какой группе какое сообщение. там на каждое сообщение может быть дофига действий, вот их количество и мониторим. но проблема в том что хотят считать для каждой группы и сообщения все отдельно. писать в БД - не выход, там десятки тысяч которые отрабатываются отдельно, если писать туда то будет тупо лишняя нагрузка на базу которая вообще не нужна, да и не факт что база такое извращение вообще выдержит. в пром - будет расти /metrics т.к. группы и сообщения будут только увеличиваться. щас думаю про influx на самом деле, но все равно смущает
источник

AS

Aleksey Shirokikh in Церковь метрик
Anatoliy
мониторинг пуш уведомлений, в какой группе какое сообщение. там на каждое сообщение может быть дофига действий, вот их количество и мониторим. но проблема в том что хотят считать для каждой группы и сообщения все отдельно. писать в БД - не выход, там десятки тысяч которые отрабатываются отдельно, если писать туда то будет тупо лишняя нагрузка на базу которая вообще не нужна, да и не факт что база такое извращение вообще выдержит. в пром - будет расти /metrics т.к. группы и сообщения будут только увеличиваться. щас думаю про influx на самом деле, но все равно смущает
Это события. Для событий пром не нужен
источник

AS

Aleksey Shirokikh in Церковь метрик
Вам нужна база данных. Кликхаус сейчас в маинтстриме
источник

AS

Aleksey Shirokikh in Церковь метрик
Возможно эластик
источник

A

Anatoliy in Церковь метрик
там считается результат этого события, их может быть несколько штук, но ок, посмотрим, спасибо. там спокойно может прилететь 20к+ таких событий в секунду, может и на порядок больше, правда это уже скорее пик чем стандарт
источник

W

Womchik in Церковь метрик
distributed sqlite
источник

AS

Aleksey Shirokikh in Церковь метрик
Anatoliy
там считается результат этого события, их может быть несколько штук, но ок, посмотрим, спасибо. там спокойно может прилететь 20к+ таких событий в секунду, может и на порядок больше, правда это уже скорее пик чем стандарт
Это начальный трафик для кх
источник

AS

Aleksey Shirokikh in Церковь метрик
На четверть ядра
источник

A

Anatoliy in Церковь метрик
Спасибо, попробую его 🙏
источник

AT

Alex Tkachenko in Церковь метрик
Anatoliy
там считается результат этого события, их может быть несколько штук, но ок, посмотрим, спасибо. там спокойно может прилететь 20к+ таких событий в секунду, может и на порядок больше, правда это уже скорее пик чем стандарт
Посмотрите, на решения типа как clickhouse+sql_exporter+prometheus. Такие решения например для сбора статистики nginx используют, есть куча примеров реализации
источник

L

LeiDruid in Церковь метрик
Товарищи, а кто-то занимался переносом дашбордов графаны?
Что-то все инструменты, которые нагуглились и работают через api генерят json, который не влетает в импорт потом.
Может, нюанс какой-то есть?
Что вообще в этом деле принято за best practice ?
источник

TF

Terry Filch in Церковь метрик
LeiDruid
Товарищи, а кто-то занимался переносом дашбордов графаны?
Что-то все инструменты, которые нагуглились и работают через api генерят json, который не влетает в импорт потом.
Может, нюанс какой-то есть?
Что вообще в этом деле принято за best practice ?
сгенери json, и добавь как код, а не через апи
источник

TF

Terry Filch in Церковь метрик
copy - paste
источник