Size: a a a

Zabbix Russian Community

2020 August 31

s

slagmaur in Zabbix Russian Community
РЕКЛАМА. Доработаем ваш веб заббикса (добавление менюшек, отрисовка имеющихся данных, внешних данных, из графаны например, итд., кнопочек, которые бы ченить включали или выключали, отправляли итд.) за справедливые цены и рандомные непредсказуемые сроки
источник

IA

Ilya Ableev in Zabbix Russian Community
slagmaur
РЕКЛАМА. Доработаем ваш веб заббикса (добавление менюшек, отрисовка имеющихся данных, внешних данных, из графаны например, итд., кнопочек, которые бы ченить включали или выключали, отправляли итд.) за справедливые цены и рандомные непредсказуемые сроки
Чуть не забанил, блин
источник

s

slagmaur in Zabbix Russian Community
Ilya Ableev
Чуть не забанил, блин
:D
источник

☭k

☭ ktrace in Zabbix Russian Community
@imp 2. каждый дисковери является зависимым от одного айтема в котором все типы вперемешку. фильтрация списков всё так же на стороне забикса, но целевой хост подготовливает и отдаёт данные о списке элементов только один раз. мониторящиеся данные уже созданными айтемами забираются точечно — эээ... с реализацией проблемы. откуда возьмётся этот item?
источник

AP

Anatoly Pugachev in Zabbix Russian Community
итого:

два item’a в шаблоне zabbix - первый делает авторизацию на сервере и получает token, второй получает JSON с сервера  (который потом проходит через discovery - item/trigger prototypes) используя token. Надо передать авторизационный токен с первого item во второй item - вот прямым способом zabbix этого не умеет (точнее умеет через REST API свой встроенный - но это overkill)

переделаю на один item через внешний python script (который будет и авторизацию делать и JSON получать) … просто до этого всё пытался сделать встроенными средствами zabbix ….

PS: https://support.zabbix.com/browse/ZBXNEXT-4744
источник

НС

Никита Савицкий... in Zabbix Russian Community
Привет! 🎉

Слушайте, я тут пытаюсь понять, может ли заббикс в:

1) 1000 метрик на хост
2) 1000 хостов

Данные получаю с Prometheus эндпоинта, генерируя айтемы с помощью LLD

Айтемы сгенерились, но далее заббикс прокси начал валиться по ООМк выжирая 30гб (!) ОЗУ.

...и сейчас я даже не могу удалить/выключить это LLD, получая 504 ошибку.

Начал удалять хосты по одному через АПИ.

Удаление одного хоста - 13 секунд.

Ах да, сам заббикс летит ещё на таймскейлдб.

Вопрос, наверное, звучит так:

Заббикс В ПРИНЦИПЕ у кого-то получается приготовить для подобной нагрузки?

Сейчас, собственно, хочу отказаться от этого Prometheus LLD и попробовать по 1000 трапперов на 1000 хостов.
Посмотрю, как в таком виде оно заработает/не заработает.
источник

AK

Andrey Kharchenko in Zabbix Russian Community
Anatoly Pugachev
итого:

два item’a в шаблоне zabbix - первый делает авторизацию на сервере и получает token, второй получает JSON с сервера  (который потом проходит через discovery - item/trigger prototypes) используя token. Надо передать авторизационный токен с первого item во второй item - вот прямым способом zabbix этого не умеет (точнее умеет через REST API свой встроенный - но это overkill)

переделаю на один item через внешний python script (который будет и авторизацию делать и JSON получать) … просто до этого всё пытался сделать встроенными средствами zabbix ….

PS: https://support.zabbix.com/browse/ZBXNEXT-4744
в вашем случае да
а у меня другая схема
1. Айтем получает токен
2. дискавери по этому токену через рест апи создает кучу айтемов
3. каждый айтем через рест по тому же токену собирает данные
тут уже не обойдешься одним питоном - нужно все же токен положить в макрос
источник

AP

Anatoly Pugachev in Zabbix Russian Community
Andrey Kharchenko
в вашем случае да
а у меня другая схема
1. Айтем получает токен
2. дискавери по этому токену через рест апи создает кучу айтемов
3. каждый айтем через рест по тому же токену собирает данные
тут уже не обойдешься одним питоном - нужно все же токен положить в макрос
все-таки простая передача токена от одного item до другого (например через macros) решила бы много проблем… если не лениво, проголосуйте за ZBXNEXT-4744
источник

AK

Andrey Kharchenko in Zabbix Russian Community
у вас точно не так? после того как LLD создаст айтемы - они не собирают ничего по REST?
источник

AP

Anatoly Pugachev in Zabbix Russian Community
Andrey Kharchenko
у вас точно не так? после того как LLD создаст айтемы - они не собирают ничего по REST?
нет, у меня самодостаточный JSON , в нем уже есть вся информация
источник

s

slagmaur in Zabbix Russian Community
Никита Савицкий
Привет! 🎉

Слушайте, я тут пытаюсь понять, может ли заббикс в:

1) 1000 метрик на хост
2) 1000 хостов

Данные получаю с Prometheus эндпоинта, генерируя айтемы с помощью LLD

Айтемы сгенерились, но далее заббикс прокси начал валиться по ООМк выжирая 30гб (!) ОЗУ.

...и сейчас я даже не могу удалить/выключить это LLD, получая 504 ошибку.

Начал удалять хосты по одному через АПИ.

Удаление одного хоста - 13 секунд.

Ах да, сам заббикс летит ещё на таймскейлдб.

Вопрос, наверное, звучит так:

Заббикс В ПРИНЦИПЕ у кого-то получается приготовить для подобной нагрузки?

Сейчас, собственно, хочу отказаться от этого Prometheus LLD и попробовать по 1000 трапперов на 1000 хостов.
Посмотрю, как в таком виде оно заработает/не заработает.
вам нужно выделить ресурсов для морды, и подтюнить ее, всего делов. заббикс в принципе и не такие нагрузки может тянуть.
источник

s

slagmaur in Zabbix Russian Community
1000 трапперов только не ставьте, руководствуйтесь докой
источник

s

slagmaur in Zabbix Russian Community
slagmaur
1000 трапперов только не ставьте, руководствуйтесь докой
а, это вы про траппер айтемы, вероятно. тогда не важно, хоть миллион делайте
источник

s

slagmaur in Zabbix Russian Community
Никита Савицкий
Привет! 🎉

Слушайте, я тут пытаюсь понять, может ли заббикс в:

1) 1000 метрик на хост
2) 1000 хостов

Данные получаю с Prometheus эндпоинта, генерируя айтемы с помощью LLD

Айтемы сгенерились, но далее заббикс прокси начал валиться по ООМк выжирая 30гб (!) ОЗУ.

...и сейчас я даже не могу удалить/выключить это LLD, получая 504 ошибку.

Начал удалять хосты по одному через АПИ.

Удаление одного хоста - 13 секунд.

Ах да, сам заббикс летит ещё на таймскейлдб.

Вопрос, наверное, звучит так:

Заббикс В ПРИНЦИПЕ у кого-то получается приготовить для подобной нагрузки?

Сейчас, собственно, хочу отказаться от этого Prometheus LLD и попробовать по 1000 трапперов на 1000 хостов.
Посмотрю, как в таком виде оно заработает/не заработает.
насчет прометея - хз. сколько у вас там нужного\ненужного
источник

НС

Никита Савицкий... in Zabbix Russian Community
Спасибо за ответ!

Да, морду я подтюню. 👌

Ну, в случае с LLD на тысячу метрик на тысячу хостов смущает боттлнек в виде заббикс прокси, что раздувается за 30+ гб.
Мне даже сейчас хочется ткнуть его на истанс больше чтоб посмотреть, сколько ему, получается, нужно, чтоб такое кто-во обработать.

Трапперы должны работать хоть миллион? Окей, буду копать в эту сторону 🎉
источник

s

slagmaur in Zabbix Russian Community
Никита Савицкий
Спасибо за ответ!

Да, морду я подтюню. 👌

Ну, в случае с LLD на тысячу метрик на тысячу хостов смущает боттлнек в виде заббикс прокси, что раздувается за 30+ гб.
Мне даже сейчас хочется ткнуть его на истанс больше чтоб посмотреть, сколько ему, получается, нужно, чтоб такое кто-во обработать.

Трапперы должны работать хоть миллион? Окей, буду копать в эту сторону 🎉
сходите в доку на предмет конфигурации прокси. она в принципе может вообще не хранить данные, которые отправлены на сервер
источник

НС

Никита Савицкий... in Zabbix Russian Community
slagmaur
насчет прометея - хз. сколько у вас там нужного\ненужного
Ну, у меня сейчас RnD задача.

Для удовлетворения условиям заббикс должен получать тысячу "нужных" метрик на тысячу хостов.
источник

НС

Никита Савицкий... in Zabbix Russian Community
slagmaur
сходите в доку на предмет конфигурации прокси. она в принципе может вообще не хранить данные, которые отправлены на сервер
Опа.
источник

s

slagmaur in Zabbix Russian Community
Никита Савицкий
Ну, у меня сейчас RnD задача.

Для удовлетворения условиям заббикс должен получать тысячу "нужных" метрик на тысячу хостов.
без проблем. если делаете через прокси - вам нужно будет и ее оттюнить
источник

НС

Никита Савицкий... in Zabbix Russian Community
Окей, я тогда пойду углубляться теперь уже ожидая, что принципиально он может, нужно просто дальше тюнить.

Спасибо!
источник