с интернетов описание проблемы:
Сталкивался с проблемой работы Asterisk в виртуальной машине на VMWare ESXi, те же симптомы. Звонки приходили на call-центр и сильно сильно тормозил и заикался звук при одновременных звонках > 30. Загрузка процессора и потребление памяти было в пределах допустимого.
Тогда нашел информацию, что на виртуальных машинах из-за конкурирования за процессорное время могут возникать задержки > 5мс на планировщике.