ES
этим скриптом сохранятся в
/tmp/patterns.json всепаттерны отсортированные по количеству метрик по каждому паттернуSize: a a a
2020 June 18
Ei
есть триггер с "len": 3415567 и еще порядка 10-ти с со 100000+
ES
запусти вот эту команду
redis-cli smembers 'moira-pattern-triggers:%{trigger_id} с айдишниками жирных паттерновEi
запусти вот эту команду
redis-cli smembers 'moira-pattern-triggers:%{trigger_id} с айдишниками жирных паттерноввидимо как то не так запускаю команду, я нашел по паттерну из скрипта сам триггер в мойре, его id это типа 640b4e72-bb12-4d04-bbb5-4d7a1efa556c ? и команда будет
redis-cli smembers 'moira-pattern-triggers:%{640b4e72-bb12-4d04-bbb5-4d7a1efa556c} ?ES
не, ты скобочки убери
ES
redis-cli smembers 'moira-pattern-triggers:640b4e72-bb12-4d04-bbb5-4d7a1efa556cES
вот так
Ei
(empty list or set)
ES
видимо как то не так запускаю команду, я нашел по паттерну из скрипта сам триггер в мойре, его id это типа 640b4e72-bb12-4d04-bbb5-4d7a1efa556c ? и команда будет
redis-cli smembers 'moira-pattern-triggers:%{640b4e72-bb12-4d04-bbb5-4d7a1efa556c} ?а, еще раз прочитал
ES
ты уже нашел триггер, который использует паттерн этот?
Ei
да
ES
а, ну тогда попробуй его удалить
ES
я немного не правильно написал: надо паттерн айди ставить в ту команду редис кли и по ней ты найдешь триггеры, которые этот паттерн используют
ES
Сорри за неточность
Ei
Победа! Виновник найден и устранен ) потребление памяти стабилизировалось, спасибо!
AB
Мы недавно на такой-же триггер наткнулись, только он нам редис положил =) Учимся на ошибках, будем как-то предотвращать такие ситуации)
ES
Может выложить наши питон скрипты которые в редисе ищут всякие штуки неприятные в общий доступ?
ES
Победа! Виновник найден и устранен ) потребление памяти стабилизировалось, спасибо!
Ну кстати вот ишью в котором будем искать решение таких проблем
https://github.com/moira-alert/moira/issues/550
https://github.com/moira-alert/moira/issues/550
Ei
Посмотрел почему вообще такое количество серий получилось - стандартно, разрабы начали пихать в имя метрики id запросов
Ei
пойду по шапке стучать