Нет, не для этого. Она используется для того, чтобы связать action creator'ы с dispatch, который она получает их контекста. И она возвращает объект объект с props'ами, который потом добавляется к пропсам твоего компонента
Мне одно не понятно, почему когда я задаю по дефолту статическое значение, то все попадает в store, и все работает, но когда пытаюсь поменять значение в сторе, то получаю undefined
Нет, mapDispatchToProps НЕ ЗАНИМАЕТСЯ ДИСПАТЧЕМ! ну ы посмотри хотя бы какой там пример в документации и что именно она возвращает. Внимательно посмотри