xdebug не будет работать быстро. Либо вы его выключаете и включаете постоянно, либо делаете отдельные окружения без него и с ним. Для облегчения выключения, можете добавить алиас в ~/.bashrc или что у вас там юзается. Типа такого alias sf='XDEBUG_MODE=off php bin/console'