надо наверное как-то перейти на новую версию Ангуляр и заюзать IVY
В идеале да, стоит стараться использовать последнюю версию. Но если есть необходимость остаться на старой версии, то стоит сначала разобраться, что заставляет сборку длиться долго, а для этого сперва необходимо снять метрики. Это можно сделать с помощью node --inspect, запустив ng и не забыв накинуть побольше памяти.