выглядит как баг - во втором случае все таргеты с лейблом __meta_kubernetes_pod_label_app_kubernetes_io_name="victoria-metrics-cluster" должны быть удалены. Можете создать багрепорт на https://github.com/VictoriaMetrics/VictoriaMetrics/issues

ok

в последнем релизе vmagent'а появилась возможность дебага релейбелинга - см. https://docs.victoriametrics.com/vmagent.html#relabeling . Попробуйте его использовать.

+

@smlkw у меня вот такой вопрос =)

нет, не использую

Включил дебаг вижу
kubectl logs victoria-metrics-agent-65764d64fd-lhs22  |grep 'kubernetes-pods\\'  | grep 'victoria-metrics-cluster\\' | sed 's/.*Out//g' | grep 'victoria-metrics-cluster\\' |wc -l
6
те самые 6 подов и осотались.

судя по исходникам на гитхабе, в этой метрике учитывается только размер http request body и не учитывается размер http headers (aka header_size) - см. https://github.com/vozlt/nginx-module-vts/blob/3c6cf41315bfcb48c35a3a0be81ddba6d0d01dac/src/ngx_http_vhost_traffic_status_node.c#L381 и https://github.com/nginx/nginx/blob/a64190933e06758d50eea926e6a55974645096fd/src/http/ngx_http_request.h#L440 . Т.е., если приходят запросы с большими http хидерами и маленькими body, то nginx_vts_server_bytes_total будет существенно меньше настоящего объема полученных данных.

тогда создавайте issue - будем изучать и фиксить

хм...какая интересная мысля...спасибо большое! это может объяснять текущую ситуацию...

Это был баг в v1.61.0
в v1.61.1 работает нормально

супер )

может кто тут подскажет как решить такую задачу: есть несколько метрик-гистограмм с разным размерами бакетов (иначе можно было сделать одну с разными лейблами) и есть потребность показать табличку с несколькими перцентилями (p50, p95, p99) для каждой метрики. то есть ряд таблички метрика и столбцы это p50, p95 и p99.
пока ничего лучше, чем считать эти метрики в recording rules и складывать в одну метрику, а потом трансформировать в графане, ничего не придумалось

VictoriaMetrics/VictoriaMetrics tagged: v1.62.0
Link: https://github.com/VictoriaMetrics/VictoriaMetrics/releases/tag/v1.62.0
Release notes:

docs/CHANGELOG.md: cut v1.62.0

VictoriaMetrics/VictoriaMetrics description changed: v1.62.0
Link: https://github.com/VictoriaMetrics/VictoriaMetrics/releases/tag/v1.62.0
Release notes:

### Changes

## [v1.62.0](https://github.com/VictoriaMetrics/VictoriaMetrics/releases/tag/v1.62.0)

*

FEATURE: vmagent: add service discovery for Docker (aka [docker_sd_config](https://prometheus.io/docs/prometheus/latest/configuration/configuration...

More

Если у метрик разные имена, то будет сложно сдеать что-то вменяемое без recording rules. Если же одно имя, и они различаются по лейблу, то что-то такое должно сработать (не проверял):

with (
  f(phi, name) = alias(histogram_quantile(phi, sum(rate(metric_name[5m])) by (label, le)), name)
)
(
  f(0.99, "99th_quantile"),
  f(0.95, "95th_quantile"),
  f(0.50, "50th_quantile"),
)

Оно должно вернуть нужные квантили для всех метрик, отличающихся по label.

with alias очень круто

прикольно! попробую

We're looking for Technical Support Engineer to join VictoriaMetrics team

Desirable skills:
- Extensive technical support experience;
- Excellent communications skills;
- Problem-solving skills;
- Upper-Intermediate English;
- Ability to provide step-by-step technical help, both written and verbal;
- Experience of using Zendesk, Atalssian, Github, Slack;
- Hands-on experience with Linux/Mac OS environments;
- Experience of working with docker and/or kubernetes;
- Understanding of monitoring or willingness to learn about it.

What to do 
- Working with community;
- Seek guidance from the engineering team when needed;
- Contribute to documentation, best practices and knowledge base;
- Customer support.

Pm me or drop message to info@victoriametrics.com

всем привет. а compose для кластерной версии нет? а то в репе только для сингла