Size: a a a

Zabbix Russian Community

2020 April 22

DK

Dima Kusyaka in Zabbix Russian Community
Stas Tibekin
Дофига((
Да, но оно того стоит. Проблем с удалением данных вообще нету.
источник

AM

Andrei MAD in Zabbix Russian Community
Stas Tibekin
Нет, дедики. Уменьшал, тоже не помогло.
Значит он тупо не может удалять данные ищ бд, смотри лог слог куери, сколько сек отнимает один запрос и умнож на колво элементов.
источник

AM

Andrei MAD in Zabbix Russian Community
Andrei MAD
Значит он тупо не может удалять данные ищ бд, смотри лог слог куери, сколько сек отнимает один запрос и умнож на колво элементов.
Slow query
источник

ST

Stas Tibekin in Zabbix Russian Community
Andrei MAD
Slow query
Ок. А относительно новой версии 4.4 со связой PgSQL + ES есть идеи?)
источник

AM

Andrei MAD in Zabbix Russian Community
Dima Kusyaka
Да, но оно того стоит. Проблем с удалением данных вообще нету.
Там архивация приехала в 5.0 так что норм с размерами еще и выиграет.
источник

DK

Dima Kusyaka in Zabbix Russian Community
Andrei MAD
Там архивация приехала в 5.0 так что норм с размерами еще и выиграет.
А про это поподробнее можно?)
источник

ST

Stas Tibekin in Zabbix Russian Community
Вот так выглядит кстати нагрузка при 30 узлах в заббиксе в эластик если писать
источник

UV

Uvin Vitaly in Zabbix Russian Community
День добрый. Может кто то подсказать по api host.get через powershell?
источник

AK

Andrey K in Zabbix Russian Community
Stas Tibekin
Ребят, всем привет. Может сталкивался кто? Подскажите пожалуйста.

На текущий момент имеем 3 разных сервера мониторинга с версией 2.4 по ±300 узлов на каждом. Под ними БД MySQL 5.7, все в innodb per table. В среднем запись на каждом Zabbix-Server по ±1000 значений в секунду. В какой-то момент на них перестает отрабатывать housekeeper (когда база разрастается до 30-45GB на диске), точнее начинает отрабатывать все дольше и дольше, хотя чистка стоит каждый час и по 100000 записей. В итоге буквально за недели 2 происходит наполнение БД с нуля до 30-45Gb и housekeeper перестает отрабатывать. При ходится каждый раз чистить таблицы с историей, что вообще плохо. В шаблоне zabbix agent есть элемент данных agent ping, на который завязна триггер "server ${hostname} is unreachble". Так вот при отработке housekeeper все узлы начинают периодичнски загораться красным, и шлют алерты. При этом они могут погаснуть и потом опять начать загораться и снова слать алерты и так постоянно пока работает housekeeper. А он никогда почему-то никогда не может закончить свою отрабокту, даже если поставить ему удалять по 500 записей. В чем дело не понятно. Тюнинг везде на максимум, что делать не знаю.

Грешили на старую версию Zabbix, решили попробовать новую для тестов. Сейчас имеем Zabbix 4.4 пустой, с БД в виде PostgreSQL на базе stolon. И сохранением истории в ElasticSearch 6.3 (3 ноды). Подключили для тестирования 30 узлов. В 100% стала нагрука "history syncer internal processes. Проблем с houskeeper нет, но периодически все узлы постоянно начинают гореть unreachble. Хотя с чего бы, если на сервере всего 30 узлов подключено..

Если убрать запись в Elasticsearch, и настроить ее в PostgreSQL, то график history syncer internal processes при 30 узлах держится где-то на 20%, что конечно лучше при 100% в ElasticSearch. Но почему так? Да и ладно бы, можно оставить запись в PostgreSQL, если с ElasticSearch нагрузка выше почему-то. Но даже на новой версии узлы все равно загораются unreacheble и шлют ложные уведомления.

Кто-нибудь сталкивался с таким? Куда копать просто не понятно. Подскажите пожалуйста.
у меня есть рецепт. ставишь мейнтейнс план на пару часов ночью и реиндексируешь таблицы. На следующий день всё начинает работать нормально но ровно на 1 день. или переезд на более быстрые диски или таймскейлдб
источник

bS

budi Saputra in Zabbix Russian Community
источник

AK

Andrey K in Zabbix Russian Community
обслуживание нужно потому что при реиндексации блокируются таблицы и всё становится недоступным
источник

ST

Stas Tibekin in Zabbix Russian Community
Andrey K
у меня есть рецепт. ставишь мейнтейнс план на пару часов ночью и реиндексируешь таблицы. На следующий день всё начинает работать нормально но ровно на 1 день. или переезд на более быстрые диски или таймскейлдб
Диски NVMe.
источник

AK

Andrey K in Zabbix Russian Community
Stas Tibekin
Диски NVMe.
эгм. грепни логи по хаускиперу
источник

AK

Andrey K in Zabbix Russian Community
Stas Tibekin
Диски NVMe.
grep housekeeper /var/log/zabbix/zabbix-server.log
источник

AK

Andrey K in Zabbix Russian Community
я лично почти год реиндексировал базу каждый день и хаускипер меня не беспокоил несмотря на рост базы. реиндексация на 50-60 гб была около 10 минут
источник

ST

Stas Tibekin in Zabbix Russian Community
grep housekeeper server.log
  449:20200422:104508.321 server #440 started [housekeeper #1]
  449:20200422:110007.993 server #440 started [housekeeper #1]
  450:20200422:111506.272 server #440 started [housekeeper #1]
  449:20200422:113007.947 server #440 started [housekeeper #1]
  449:20200422:114506.455 server #440 started [housekeeper #1]
  449:20200422:120007.473 server #440 started [housekeeper #1]
источник

AK

Andrey K in Zabbix Russian Community
а результаты где?  вроде 2578:20200419:071255.574 housekeeper [deleted 0 hist/trends, 0 items/triggers, 0 events, 2 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 0.060297 sec, idle for 1 hour(s)]
источник

ST

Stas Tibekin in Zabbix Russian Community
Это с одного из серверов, где он не отрабатывает уже.

А вот с отработанного.

grep housekeeper server.log
  363:20200422:081406.866 executing housekeeper
  363:20200422:081828.606 housekeeper [deleted 1392237 hist/trends, 0 items, 1025 events, 0 sessions, 0 alarms, 4 audit items in 261.738607 sec, idle 1 hour(s)]
  363:20200422:091828.606 executing housekeeper
  363:20200422:092301.838 housekeeper [deleted 1374363 hist/trends, 14863 items, 744 events, 0 sessions, 0 alarms, 0 audit items in 273.230546 sec, idle 1 hour(s)]
  363:20200422:102301.838 executing housekeeper
  363:20200422:102741.783 housekeeper [deleted 1376738 hist/trends, 0 items, 590 events, 0 sessions, 0 alarms, 0 audit items in 279.943479 sec, idle 1 hour(s)]
  363:20200422:112741.783 executing housekeeper
  363:20200422:113519.117 housekeeper [deleted 1377562 hist/trends, 99012 items, 921 events, 1 sessions, 0 alarms, 0 audit items in 457.332576 sec, idle 1 hour(s)]
источник

AK

Andrey K in Zabbix Russian Community
реиндексируй и станет полегче, но где-то на день
источник

ST

Stas Tibekin in Zabbix Russian Community
Да я готов переехать на новый заббикс, если надо. Ршение на день - такое себе решение(
источник