В общем в ходе мониторинга узнал, что проблема связана с базой данных mysql, а именно с insert, почему то он иногда не проходит, виснет все 3 секунды, и в логах медленных запросов не отображается :(
У кого нибудь есть идеи с чем это связано?
в общем тут скорее почитать про блокировки нужно. Чтобы понимать примерно из-за чего могут происходить.
insert запросы быстрые обычно (индексация может играть роль, но 3 секунды многовато для этого)