Предельное разность между входом и выходом не больше 2-3мс нужна. Можно меньше. Вопрос о времени самой обработки - другая тема для обсуждений. Нужно будет алгоритмы эффективные разработать для этого дела
Даже если в 20 раз быстрее, 100 мксек - то тоже передача по шинами никакого существенного влияния не оказывает. Вот когда частоты дискретизации под мегагерцы, тут уже надо думать основательно
Напомню, КИХ фильтр на примерно тысячу отводов при 48 кГц считается что вносит задержку около 10 мс. И еще обычно буферизация потоков для повышения эффективности может от себя добавить.