vk
с moira-cache ничего подобного не наблюдалось
Size: a a a
2018 January 16
vk
мы первоначально думали что дело в carbon-c-relay - и обновили его - стало чуть лучше - но всеравно много метрик не доходит
vk
в метриках c-relay очень много metric dropped ~= 200 K/30sec
vk
и где то среднее metricStalls == 30
vk
у нас есть 3 остновных carbon-c-relay - у которых сейчас дропы = 0, а в момент когда мы высылали метрики в новую мойру - у нас были такие же дропы ~= 200k/30 sec
vk
Да выросли
vk
У нас редис удаленный если что
T
надо понять что вызвало дроп
в ситуации, когда теряется сетевая связность от релейки до фильтра, релейка начинает копить очередь, и когда эта очередь достигнет (carbon-c-relay.queuesize*кол-во хостов указанных в конфиге релейки) то релейка начнинает дропать эти метрики
фильтр если что в свою очередь способен принять очен большое кол-во скопившихся метрик при "горячем подключении"
в ситуации, когда теряется сетевая связность от релейки до фильтра, релейка начинает копить очередь, и когда эта очередь достигнет (carbon-c-relay.queuesize*кол-во хостов указанных в конфиге релейки) то релейка начнинает дропать эти метрики
фильтр если что в свою очередь способен принять очен большое кол-во скопившихся метрик при "горячем подключении"
vk
redis-server процесс на хосте с мастера редиса зачастую в 100% cpu упирается
vk
и у нас стало 18 000 - 20 000 exec на редисе
AB
а было?
vk
vk
вот смотрик ак было
vk
и как стало
AB
ох ебать
vk
это так задумано?
AB
нет
vk
о