Там используется своя либа для работы с вебпаком, в которой уже есть вебпак конфиг. Мож уже сделали чтобы можно было оверрайдить его, но когда я последний раз юзал cra, то было низя
там просто делаешь npm run eject и он выкидывает CRA и оставляет всю сборку, с которой делай все что хочешь