Ну да, всё правильно, суть экстра-редьюсера в том, чтобы предоставить возможность обрабатывать экшны, которые были объявлены вне слайлса.
Вызов createAsyncThunk создает санку, которая на разные результаты промиса передаваемого асинхронного колбэка диспатчит разные экшны, которые, собственно и можно отлавливать через экстра-редьюсер.
Тут не то, что "extraReducer для асинхронных" не правильно будет, но и "не только для асинхронных" тоже неправильно. экстра-редьюсер - это обычный кейс-редьюсер, который принимает обычные экшны, только "экстра" он потому что типы для этих экшнов генерятся вне слайса.