Size: a a a

2020 June 12

AA

Andrey A in Moira
docker rm -f moira-notifier - висит. Если не ошибаюсь - флаг -f вызывает тот же docker kill
контейнеры композом запускаютсяё - солтом
источник

ДУ

Денис Устинов... in Moira
Странно, у меня такие контейнеры удаляются через docker-compose up -d --force-recreate имя_сервиса_в_композе
источник

ДУ

Денис Устинов... in Moira
Можно ещё попробовать докер рестартануть
источник

AA

Andrey A in Moira
не получится, тк. выставлена опция live-restore: true.
источник

AA

Andrey A in Moira
в итоге советуют перезагружать весь хост, надеюсь потом это не повторится
источник
2020 June 15

Ei

Evgeny ihard in Moira
А как то можно понять куда moira-checker (версия 2.5.1) расходует память (в идеале топ триггеров)? На сервере 64Gb памяти примерно с неделю как процесс moira-checker начал выедать её всю и падать, тк systemd процесс перезапускает, то заметили не сразу тк в целом все работает.
источник

AA

Andrey A in Moira
там есть внутренние метрики от микросервисов, пробовали их смотреть?
источник

Ei

Evgeny ihard in Moira
дашборд внутренних метрик есть - по ним не вижу какого-то криминала - на что именно смотреть?
источник

Ei

Evgeny ihard in Moira
вот метрики checker-а
источник

AA

Andrey A in Moira
Triggers check handle p99 - выглядит стремно
источник

AA

Andrey A in Moira
у нас в мойре очень мало метрик, на этом графике у меня порядок цифр - миллисекунды, у вас - десятки секунд
источник

AB

Arkady Borovsky in Moira
А ты случайно свежий-свежий мастер не брал?)
источник

Ei

Evgeny ihard in Moira
Arkady Borovsky
А ты случайно свежий-свежий мастер не брал?)
не, я всю жду RC хотябы )
источник

AB

Arkady Borovsky in Moira
Фух, это хорошо)
источник

Ei

Evgeny ihard in Moira
хотя уже были мысли мастер пробовать
источник

AB

Arkady Borovsky in Moira
Андрей правильно сказал - 20 секунд это не хорошо, у нас сейчас p99 примерно 600мс, но если у вас p95 хорошая то можно и забить, видимо просто есть парочка жиробасных триггеров на несколько десятков тысяч метрик.
источник

AB

Arkady Borovsky in Moira
Посмотри это, если p95 тоже неприятная, то надо будет включить pprof и дамп снять, мы поразбираемся как время будет
источник

Ei

Evgeny ihard in Moira
Evgeny ihard
вот метрики checker-а
тут есть - там 100ms
источник

AB

Arkady Borovsky in Moira
Не, это про другое график)
источник

AB

Arkady Borovsky in Moira
Если ты про checker metrics handle p95 говоришь
источник