лол. проигнорили тебя максимально)))

хелм чарт оператора виктории деплоит алерт менеджер ?)

оператора нет а вот k8s-stack да

Странно, просто в victoria-metrics-operator хелм чарте есть crd аналогичная той, что есть в k8s-stack

@f41gh7 @k1rk_t подскажете?

в вм нет пока встроенного statsd сервера - но поддерживается протокол вставвки это значит что считать каунтеры должен кто то другой и этот же сервис может пушить в вм
в планах есть добаввить сервер в агент

то есть примерно такая связка: джобы -> statsd server -> statsd-exporter -> vmagent -> vminsert? и со временем возможно получится сократить до: джобы -> vmagent -> vminsert

crd есть. и потом можно создать экземпляр этой CRD и оператор задеплоит alertmanager. просто экземпляр отдельно от зелм чарта нужно будет создавать.
а в чарте k8s-stack уже есть и экземпляр этой CRD

Ок, спасибо
А есть примеры создания ? Я по сути вменяемых конфигов не нашел :(

Хотя вроде нашел в описание k8-stack описание довольно подробное

Не могу разобраться как с помощью VMStaticScrape и VMAgent писать данные из двух экспортеров в разные тенанты.

VMStaticScrape.yml:
apiVersion: operator.victoriametrics.com/v1beta1
kind: VMStaticScrape
metadata:
 name: vmstaticscrape-sample
 namespace: bubnov
spec:
 jobName: static
 targetEndpoints:
   - targets: ["promoperator-prometheus-node-exporter.kube-prom:9100"]
     labels:
       env: dev
       project: operator
       scrape: node-exporter
   - targets: ["promoperator-prometheus-op-prometheus.kube-prom:9090"]
     labels:
       env: dev
       project: operator
       scrape: prometheus

VMAgent1.yml:

apiVersion: operator.victoriametrics.com/v1beta1
kind: VMAgent
metadata:
  name: example-vmagent
  namespace: bubnov
spec:
  staticScrapeSelector:
    matchLabels:
        scrape: node-exporter
  staticScrapeNamespaceSelector: {}
  replicaCount: 1
  remoteWrite:
    - url: "http://vminsert-example-vmcluster-persistent.bubnov.svc.cluster.local:8480/insert/31/prometheus/api/v1/write"

VMAgent2.yml:

apiVersion: operator.victoriametrics.com/v1beta1
kind: VMAgent
metadata:
  name: vmagent2
  namespace: bubnov
spec:
  staticScrapeSelector:
    matchLabels:
      scrape: prometheus
  replicaCount: 1
  remoteWrite:
    - url: "http://vminsert-example-vmcluster-persistent.bubnov.svc.cluster.local:8480/insert/32/prometheus/api/v1/write"

В VMselect не вижу днных, которые должны прилететь из targets

В matchLabels VMAgent'a указываются лейблы из спеки VMStaticScrape ?

https://github.com/VictoriaMetrics/VictoriaMetrics/pull/1312 - а это нивприаритети, чтобы люди не юзали амазоновский пром вместо victoriametrics? 🙂

в matchLabels указываются лейблы из VMStaticScrape.metadata.labels.

 Если нужно фильтровать по внутренним лейблам таргетов, то лучше всего завести несколько remoteWrite для одного vmagent:

apiVersion: operator.victoriametrics.com/v1beta1
kind: VMAgent
metadata:
  name: example-vmagent
  namespace: bubnov
spec:
  staticScrapeSelector: {}
  staticScrapeNamespaceSelector: {}
  replicaCount: 1
  remoteWrite:
    - url: "http://vminsert-example-vmcluster-persistent.bubnov.svc.cluster.local:8480/insert/31/prometheus/api/v1/write"
     inlineUrlRelabelConfig: | 
        source_labels: [scrape]
        action: keep
        regex: node-exporter
    - url: "http://vminsert-example-vmcluster-persistent.bubnov.svc.cluster.local:8480/insert/32/prometheus/api/v1/write"
        inlineUrlRelabelConfig: | 
        source_labels: [scrape]
        action: keep
        regex: prometheus

statsd_exporter в этой цепочке лишний. Из statsd можно напрямую записывать данные в вм. См. https://docs.victoriametrics.com/#how-to-send-data-from-graphite-compatible-agents-such-as-statsd

Типа того :) На самом деле эта фича не в приоритете, т.к. она нужна только для записи данных из вмагента в амазоновский пром. Больше она нигде не пригодится. А это - очень узкая область применения, которую затем придется поддерживать, если смержить данный пулл реквест. Сразу после мержа появится вопрос по поводу ошибок на стороне амазоновсеого прома с out of order samples, т.к. там под капотом кортекс, который не умеет в backfilling. Вмагент по умолчанию пишет данные в ремоут сторедж по нескольким независимым подключениям. Поэтому возможна ситуация, когда более новые данные для одного и того же ряда доедут до ремоут стореджа быстрее более старых данных. Это приведет к ошибке out of order samples, которая никогда не проявляется в викторииметрикс. В итоге нужно будет делать фикс в вмагенте, который нужен только для амазоновского прома. Вот таких граблей хотелось бы избежать, т.к. на это требуется дополнительное время.

Всем добрейшего утра!
Обычный ламерский вопрос.
Забился диск в 100%, стояло -retentionPeriod=6 поставил на -retentionPeriod=4, рестартанул, диск не очистился, но ранее помню что так работало. Обычный одиночный VM без кластера.

Остановите вм удалите папки с старыми таймстампами они в именах

Ок, спасибо.
А почему по манам не сработало?
-retentionPeriod - retention period in months for the data. Older data is automatically deleted.