A
15*4*5/15 = 20 точек по 91к. неприятненько.
ваще не так уж и много, если память есть
Size: a a a
2020 March 04
AS
ваще не так уж и много, если память есть
если память есть то и вопросов бы не было. я так представляю
A
недостаточно данных
VK
памяти 32гб
AV
а какие варианты есть, если нужны счетчики c большим количеством labels, и нужно запрашивать с группировкой по разным параметрам? писать в какой-нибудь NATS/Kafka и потом в ClickHouse вставлять с SummingMergeTree?
Попробуйте загрузить эти данные в victoriametrics с помощью https://github.com/VictoriaMetrics/vmctl/blob/master/README.md#migrating-data-from-prometheus и проверьте там скорость выполнения запроса. Может оказаться быстрее за счет следующих оптимтзаций:
- вм использует все ядра проца при вычислении тяжелых запросов по большому количеству рядов и значений
- в вм встроен кэш ответов наподобие trickster, поэтому при регулярно повторяющихся запросах она оперирует только новыми данными, а предыдущие результаты загружает из кэша
- вм лучше оптимизирована по скорости выполнения запросов по сравнению с промом
- вм использует все ядра проца при вычислении тяжелых запросов по большому количеству рядов и значений
- в вм встроен кэш ответов наподобие trickster, поэтому при регулярно повторяющихся запросах она оперирует только новыми данными, а предыдущие результаты загружает из кэша
- вм лучше оптимизирована по скорости выполнения запросов по сравнению с промом
A
оффтоп наверное, но если я хочу в своем сервисе заюзать remote_write протокол - есть уже готовые go-либы, или откуда лучше выдернуть?
AP
Там же protobuf? Весь код можно сгенерить из его определений
A
о, к стыду своему тему не изучал, если protobuf то норм, спс
AV
оффтоп наверное, но если я хочу в своем сервисе заюзать remote_write протокол - есть уже готовые go-либы, или откуда лучше выдернуть?
берите вот это - https://github.com/prometheus/prometheus/tree/master/prompb . Прямо из исходников прометеуса :)
Вот тут примеры использования - https://github.com/prometheus/prometheus/tree/release-2.16/documentation/examples/remote_storage
Вот тут примеры использования - https://github.com/prometheus/prometheus/tree/release-2.16/documentation/examples/remote_storage
A
Коллеги, подскажите начинающему: развелся зоопарк всяких серверов с веб приложеньками. Хочется собрать в кучу логи приложение, нгинкса, мускуля и т.д и нормально их смотреть и анализировать. Я так понимаю для этого наилучшим образом подходит ЕЛК. И второе, приложеньки генерят всякие ивенты, и хочется эти метрики собирать и красиво смотреть, так чтобы Мона Лиза отдыхала. Для этих целей вроде как графит+графана. Я все правильно понял?
A
А, да, ещё для метрик хотелось бы их по апи дергать при необходимости
G
yandex/ClickHouse tagged: v20.1.5.26-stable
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.1.5.26-stable
Release notes:
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.1.5.26-stable
Release notes:
v20.1.5.26-stable
DS
А, да, ещё для метрик хотелось бы их по апи дергать при необходимости
сделай эндпойнт /metrics, и дергай, например
A
сделай эндпойнт /metrics, и дергай, например
Это в чем? В ёлке или графите?
AM
Коллеги, подскажите начинающему: развелся зоопарк всяких серверов с веб приложеньками. Хочется собрать в кучу логи приложение, нгинкса, мускуля и т.д и нормально их смотреть и анализировать. Я так понимаю для этого наилучшим образом подходит ЕЛК. И второе, приложеньки генерят всякие ивенты, и хочется эти метрики собирать и красиво смотреть, так чтобы Мона Лиза отдыхала. Для этих целей вроде как графит+графана. Я все правильно понял?
Ещё можно посмотреть в сторону грейлога и флюент(д/бит). Есть свои нюансы, но жить вполне можно
DS
Это в чем? В ёлке или графите?
в приложении
A
Ещё можно посмотреть в сторону грейлога и флюент(д/бит). Есть свои нюансы, но жить вполне можно
Да, грэйлог уже читаю, смотрю.
A
в приложении
Не понял сути.
DS
будешь выдергивать с него метрики