В общем разобрался (facepalm). Питоновская программка, которую я использовал для тестирования, иногда почему-то отправляет пакеты сэмплов меньшего размера, чем задано. Поток воспроизведения аудио связан с сетевой частью через канал с ёмкостью 3 пакета и читает его не реже чем раз в 100мс. Если за 100мс приходит больше 3-х пакетов создаётся backpressure и пакеты начинают копиться в сетевом стеке.