MA
по системным: диски ок, памяти ок, цпу на всей тачке нагружен не сильно, потоков хватает. сейчас прикину сколько цпу жрет один шард в среднем
не, что там на машине в целом — пофиг. надо смотреть на то одно ядро, что отдано под tx тарантула )
Size: a a a
2020 July 09
KA
А луашная логика у вас в транзакции?
неа
KA
не, что там на машине в целом — пофиг. надо смотреть на то одно ядро, что отдано под tx тарантула )
ты сейчас про tx очередь сетевухи?
MA
нет, я про tx тред тарантула. мне не доводилось видеть такой нагрузки, что ушатала бы сеть и не ушатала при этом тарантул
KA
если забиндить все очереди на одно ядро)
KA
cpu usage на шарде в пиках до 50%
KA
но, опять же, это метрики с частотой сбора раз в n минут, да и в одну минуту может прилететь скопом много в какой то момент
KA
как можно диагностировать проблемы с gc? может, можно как то мониторить задержки stop the world?
KA
вот такие графики есть
MA
как можно диагностировать проблемы с gc? может, можно как то мониторить задержки stop the world?
если в коде явно не вызывается collectgarbage, то не будет stop the world: gc инкрементальный
MA
для начала начните мониторить ресурсы с высокой частотой (atop/collectd/monit: интервал 1-5 s)
начните снимать метрики с тарантула (github.com/tarantool/metrics)
начните снимать метрики с тарантула (github.com/tarantool/metrics)
MA
ещё можно добавить loop-time инструментирование.
@okoshovetc поделись плиз файбером
@okoshovetc поделись плиз файбером
KA
если в коде явно не вызывается collectgarbage, то не будет stop the world: gc инкрементальный
а как тогда gc потенциально может подгружать на секунду?
MA
а как тогда gc потенциально может подгружать на секунду?
явным collect
MA
collectgarbage('collect') или collectgarbage('count') — это full cycleесли объектов много, то замирать может надолго
MA
в принципе проверяется легко:
local clock = require'clock' local s = clock.time() collectgarbage('count') return clock.time() - sKA
в явном виде у нас collectgarbage не вызывается
MA
в принципе проверяется легко:
local clock = require'clock' local s = clock.time() collectgarbage('count') return clock.time() - sесли это выдаёт значения около миллисекунды, это не GC
OK
ещё можно добавить loop-time инструментирование.
@okoshovetc поделись плиз файбером
@okoshovetc поделись плиз файбером
fiber.create(function()
fiber.name(GENERATION .. ':watchdog')
local last = fiber.time()
while GENERATION == package.reload.count and M._.monitor_cfg.watchdog_period > 0 do
fiber.sleep(M._.monitor_cfg.watchdog_period)
local now = fiber.time()
local loop_time = now - last
if loop_time > M._.monitor_cfg.watchdog_lag then
log.info("Loop take too long: %0.2f instead of %s", now - last, M._.monitor_cfg.watchdog_lag)
end
_event("loop_time", loop_time)
last=now
end
end)
KA
fiber.create(function()
fiber.name(GENERATION .. ':watchdog')
local last = fiber.time()
while GENERATION == package.reload.count and M._.monitor_cfg.watchdog_period > 0 do
fiber.sleep(M._.monitor_cfg.watchdog_period)
local now = fiber.time()
local loop_time = now - last
if loop_time > M._.monitor_cfg.watchdog_lag then
log.info("Loop take too long: %0.2f instead of %s", now - last, M._.monitor_cfg.watchdog_lag)
end
_event("loop_time", loop_time)
last=now
end
end)
спасибо!