Если кто-то столкнулся с такой же проблемой -
вот ишшью. Временное решение - использовать переменную окружения NG_BUILD_IVY_LEGACY=1, тогда скорость пересборки вернется к той скорости, которая была до 11.1.
Полайкайте, пожалуйста, ишшью, у кого есть полминутки, мб побыстрее пофиксят.