Size: a a a

Мониторинг

2019 October 31

AE

Ant0n Erem1n in Мониторинг
Если вы совсем ничего не слышали про систему мониторинга Prometheus, то этого подкаста вам конечно для понимания не хватит, но по крайней мере по вершкам скажут, что это легко. Хотя погоди, скажут что очень сложно...

Однако, если не пугают следующие слова: docker, service discovery, YAML, nginx, grafana, то все получиться)

http://bit.ly/35lhAoV
источник

AE

Ant0n Erem1n in Мониторинг
Импорт/экспорт Grafana dashboards

Пришла мне таска - взять все существующие дашборды для графаны, немного их подкрутить, и пушнуть туда же как новые. Темплейтинг заюзать нельзя - оно там все супер-динамическое с завязкой на свой датасорс для каждого конкретного хоста. Короче - гемор.

И этих дашбордов более нескольких десятков.

Сразу дока, API - и погнали. Есть на импорт/экспорт, а значит кто-то уже писал автоматизацию.

Полез я в интернет, и сразу наткнулся на github gists, где разные ребята в коментах писали свои версии скриптов. Но вроде же дожно быть что-то более продакшн реди? И да, есть либа:
💥 https://github.com/hagen1778/grafana-import-export

Она заэкспортила дашборды, и пришла очередь фиксить json.

Для этого есть тулза jq,  не самая удобная, но работает. Пример, где в slug меняется поле:
jq '(.meta.slug |= "aws-" + .)' $filename - на поиск синтаксиса ушло 2 чашки чая 🙁

Датасорсы в графиках лучше менять с помощью sed:
sed 's/"datasource": "influxdb"/"datasource": "new-datasource"/g' - через jq тяжело обойти все вложенные ключи, и не сломать лишнего

Обязательно нужно поменять title - иначе ничего работать не будет (упадет с ошибкой):
jq '(.dashboard.title |= "AWS | " + .)' $filename - тут добавляется 'AWS | ' и существующее имя дашборда

Это все очевидные вещи, но в конце ждал сюрприз. Ошибка The dashboard has been changed by someone else. Хм, что же это значит? Сразу мысль подсказала посмотреть на ключи version и id. Ключа с версией небыло, а вот id был. Где-то на гитхабе советовали засетить его как null, или вообще удалить. Ну я и удалил:
jq 'del(.dashboard.id)' $filename

После этого дашборды заэкспортились и все взлетело.

Надеюсь, сохранил вам несколько часов гугления и набивания шишек 😄
источник

IH

Ihor Horhul in Мониторинг
Подскажите локальный мониторинг  для виндовс сервера.  Есть виртуалка с виндовс сервером и периодически на ней прыгает нагрузка на ЦП 100%, так что все отваливается и даже через консоль гипервизора не зайти
источник

IH

Ihor Horhul in Мониторинг
Нужно понять что нагружает
источник

IH

Ihor Horhul in Мониторинг
Стоит заббикс агент, но он естественно не отправляет данные когда это происходит
источник

IA

Ilya Ableev in Мониторинг
Ничего и не отправит тебе данные, если такое происходит
источник

IA

Ilya Ableev in Мониторинг
Думай, твоя система же.
источник

IA

Ilya Ableev in Мониторинг
Я без шуток
источник

IA

Ilya Ableev in Мониторинг
Или найди того, кто раскопает тебе твою проблему
источник

IA

Ilya Ableev in Мониторинг
"У нас" в линуксах решается именно так. И нет магической тулзы, которая не виснет, пока всё остальное висит
источник

IH

Ihor Horhul in Мониторинг
Ilya Ableev
Ничего и не отправит тебе данные, если такое происходит
Ну так локально на винду записать
источник

IA

Ilya Ableev in Мониторинг
Ihor Horhul
Ну так локально на винду записать
А ты не думал, почему заббикс ничего не отправляет?
источник

AE

Ant0n Erem1n in Мониторинг
может копать стоит в сторону мониторинга windowd perfomance?
источник

DK

D K in Мониторинг
Ihor Horhul
Подскажите локальный мониторинг  для виндовс сервера.  Есть виртуалка с виндовс сервером и периодически на ней прыгает нагрузка на ЦП 100%, так что все отваливается и даже через консоль гипервизора не зайти
Ну а что в журналах винды, расширенное логгирование включи. Сними метрики с гипервизора для этой вм. Действуй дальше по ситуации
источник

DK

D K in Мониторинг
Сбор счётчиков по процессам включи. Наконец накинь 2х процессора
источник

IH

Ihor Horhul in Мониторинг
D K
Сбор счётчиков по процессам включи. Наконец накинь 2х процессора
Там 8 ядер, которые обычно нагружен на 5%
источник

IH

Ihor Horhul in Мониторинг
D K
Сбор счётчиков по процессам включи. Наконец накинь 2х процессора
Вот про это почитаю, спасибо
источник

DK

D K in Мониторинг
Ihor Horhul
Там 8 ядер, которые обычно нагружен на 5%
Ну обычно да, а что с дисковой подсистемой?
источник

DK

D K in Мониторинг
Причин куча
источник

DK

D K in Мониторинг
Наконец, зачем лечить одну виртуплку, если с остальными все хорошо. Грохни её и раскатай заново
источник