можно натравить например https://docs.victoriametrics.com/vmagent.html на сбор метрик с приложения, и потом его обложить сесюрити настройками, или пушить в vmagent метрики, а он будет их дальше пересылать в remote_write

Вопрос возник в связи с тем, что если разрешить из неймспейса где сидит prometheus ходить по всем неймспейсам и собирать метрики по всем портам и при этом в этом же неймспейсе держать alertmanger и, последнее третье условие возникновения чуда, кто-то из юзеров имеет свой alertmanager, то есть вероятность слияния двух alertmanager кластеров в один из-за специфики протокола gossip.

Наверное, ничего не понятно. Но это контекст, который не обязательно знать. Могу объяснить подробнее. Тут есть чуть больше деталей:

https://github.com/prometheus/alertmanager/issues/2250
https://github.com/hashicorp/memberlist/issues/241


Стало интересно, кто как ограничивает прометеус в сборе метрик с пользовательских приложений. Даёте ли ходить по всем неймспейсам и всем портам или просите выставлять метрики только на определенных портах?


> Со стороны прометеуса ты не сможешь это очевидно сделать
Почему не могу? Кажется, я могу навесить networkpolicy на неймспейс, где крутит prometheus и разрешить ему ходить только в определенные порты.

ты что-то параноишь

> Почему не могу? Кажется, я могу навесить networkpolicy на неймспейс, где крутит prometheus и разрешить ему ходить только в определенные порты.

тебе для каждого приложения придется отдельно править NP на неймспейс прометеуса

к тому же - алертменеджер ты реально можешь ограничить

у тебя в цилиум есть возможность фильтровать нагрузки по лейблам или по сервис аккаунту - АМ действительно нефиг ходить в неймспейсы с приложениями, наверное

> ты что-то параноишь
по ссылке 7 шагов как воспроизвести на локалке с kind кластером. это реальность ; ) и мы с ней столкнулись в проде

> тебе для каждого приложения придется отдельно править NP на неймспейс прометеуса
Почему же? я могу разрешить прометею ходить везде по портам 1, 2, 3, 4 и написать в доке юзерам экспозить метрики на портах 1,2,3,4. Зачем мне каждый раз что-то добавлять?

> к тому же - алертменеджер ты реально можешь ограничить
Вот это норм идея - увести ам в другой неймспейс и оттуда его контролировать через netpol. Но если кто-то из команды прома опять запустит в своём неймспейсе ам, то будет ай. Хочется более предсказуемое решение. Зачем давать прому всё, если ему можно дать только то, что нужно?

потому что рано или поздно найдется приложение с портом 5. И придется переделывать пром, а не адаптировать приложение

приложение с портом 5 может мапить на сервис свой 5 как 4, не?

> Вот это норм идея - увести ам в другой неймспейс и оттуда его контролировать через netpol. Но если кто-то из команды прома опять запустит в своём неймспейсе ам, то будет ай. Хочется более предсказуемое решение. Зачем давать прому всё, если ему можно дать только то, что нужно?

напиши генератор нетворк полиси на основе конфига прометеуса, кек

тогда у тебя все соблюдается - и доступов избыточных нет, и все по красоте, и АМ вытаскивать не надо в отдельный неймспейс

не, проще договориться на 1,2,3,4
зачем сложные решения

ну это мне так кажется. на самом деле хз что лучше. интересно кто что как у кого

ну, смотри, во-первых, мы с такой проблемой не сталкивались

у вас доступы от прома везде?

я сделал хитрее 😊  Есть системный пром и есть промы per team

team = несколько неймспейсов

таким же образом решается проблема с тем, что у тебя пром становится большой и ему плохо

все они крутятся в одном неймспейсе или ты пром для команды в их неймспейс деплоишь?

слушай, зависит от того - у тебя какая концепция