Size: a a a

Церковь метрик

2020 April 14

AK

Aleksandr Kurach in Церковь метрик
парни всем дня. вопрос:
можно ли через promql посчитать суммы по одному из лейблов?

т.е. пример:

usage{bucket="name1",owner="owner1"} 1001231
usage{bucket="name2",owner="owner12"} 10023121231
usage{bucket="name3",owner="owner3"} 1001321
usage{bucket="name4",owner="owner1"} 100123
usage{bucket="name5",owner="owner12"} 1001231231


я хочу в 1 запросе получить итоговый(sum) usage по лейблу owner так можно или нет? если да, то куда копать?
источник

AK

Aleksandr Kurach in Церковь метрик
или на каждого. owner надо будет свой запрос делать?
источник

AK

Aleksandr Kurach in Церковь метрик
sum(usage) by (owner)
источник

AS

Anton Smolkov in Церковь метрик
Посоны, подскажите, что для push выбрать? ClickHouse, Influx, VictoriaMetrics(Graphite plaintext protocol) что-то еще?
источник

AK

Aleksandr Kurach in Церковь метрик
Anton Smolkov
Посоны, подскажите, что для push выбрать? ClickHouse, Influx, VictoriaMetrics(Graphite plaintext protocol) что-то еще?
нагрузка+удобство дальнейших запросов.
источник

AK

Aleksandr Kurach in Церковь метрик
а там хоть пром с пуш гейтом
источник

AS

Anton Smolkov in Церковь метрик
Пром не подходит.
Нужен именно пуш, так как нужно отслеживать старты/стопы очень часто выполняющихся заданий.
источник

AS

Aleksey Shirokikh in Церковь метрик
Anton Smolkov
Посоны, подскажите, что для push выбрать? ClickHouse, Influx, VictoriaMetrics(Graphite plaintext protocol) что-то еще?
текстовый файл ?
объектный бакет ?
источник

Д

Денис in Церковь метрик
Господа, приветствую. Настраиваю отправку логов в ES c Kibana. Логи будут слать в виде hhtp-пакетов по https на хост с FluentD. После чего, Fluent их форвардит на хост с Эластиком и Кибаной. На этом же хосте также стоит FluentD который логи "примет" и в ЕS локально запакует. Вопрос по конфигам FlunetD, может кто-то сталкивался. Для форварда логов по https, используется плагин secure_forward. В котором нужно указать :
   *Куски конфга из оф доки*
   ca_path /path/to/ca_file
   cert_path /path/to/cert_path (путь до сертификата, в моем случае LetsEncryt, с этим все понятно, указываю путь до fullchain.pem)
   private_key_path /path/to/priv_key ( путь до файла privkey.pem)
   private_key_passphrase "passphrase"
Где прописывается "passphrase"? ca_file в контексте LetsEncypt, это что?  Без этих параметров Fluent не стартует
источник

AS

Aleksey Shirokikh in Церковь метрик
Anton Smolkov
Пром не подходит.
Нужен именно пуш, так как нужно отслеживать старты/стопы очень часто выполняющихся заданий.
логи
источник

A

Andor in Церковь метрик
Денис
Господа, приветствую. Настраиваю отправку логов в ES c Kibana. Логи будут слать в виде hhtp-пакетов по https на хост с FluentD. После чего, Fluent их форвардит на хост с Эластиком и Кибаной. На этом же хосте также стоит FluentD который логи "примет" и в ЕS локально запакует. Вопрос по конфигам FlunetD, может кто-то сталкивался. Для форварда логов по https, используется плагин secure_forward. В котором нужно указать :
   *Куски конфга из оф доки*
   ca_path /path/to/ca_file
   cert_path /path/to/cert_path (путь до сертификата, в моем случае LetsEncryt, с этим все понятно, указываю путь до fullchain.pem)
   private_key_path /path/to/priv_key ( путь до файла privkey.pem)
   private_key_passphrase "passphrase"
Где прописывается "passphrase"? ca_file в контексте LetsEncypt, это что?  Без этих параметров Fluent не стартует
источник

AS

Anton Smolkov in Церковь метрик
Есть уже ёлка, тяжело ей.
источник

Д

Денис in Церковь метрик
Спасибо, схожу в логс-чатик, в эластик чатике уже был.
источник

AS

Aleksey Shirokikh in Церковь метрик
Anton Smolkov
Есть уже ёлка, тяжело ей.
помогите ей. tsdb будет еще сложнее
источник

AK

Aleksandr Kurach in Церковь метрик
Anton Smolkov
Пром не подходит.
Нужен именно пуш, так как нужно отслеживать старты/стопы очень часто выполняющихся заданий.
источник

AS

Aleksey Shirokikh in Церковь метрик
задача в том виде как сформулированна плохо ложится на tsdb.
если можете в кх то кх
источник

AS

Aleksey Shirokikh in Церковь метрик
замусорится потенциально
источник

AK

Aleksandr Kurach in Церковь метрик
Aleksey Shirokikh
замусорится потенциально
это просто что бы человек был в куре того что есть. а не писал что в проме нет пуша)
источник

BG

Bogdan (SirEdvin) Gladyshev in Церковь метрик
Anton Smolkov
Пром не подходит.
Нужен именно пуш, так как нужно отслеживать старты/стопы очень часто выполняющихся заданий.
По идее, это решается через условный statsd-exporter, Или если у вас вдруг селери, то на него можно написать експортер
источник

AS

Aleksey Shirokikh in Церковь метрик
Aleksey Shirokikh
задача в том виде как сформулированна плохо ложится на tsdb.
если можете в кх то кх
если можете терять часть лайблов то statsd может.
типа отправили с большим колвом лейблов. порезали на нужные аггрегаты и отдали в tsdb диапазонами
источник