Сервис - provided in root, тогда в модалку он нормально заинжектится
Данные в модалку прокидываются через matDialogOptions::data (см. доку)
Второй вариант - возврат данных в место, откуда ее открыли через MarDialogRef.close(data) и вызов сервиса через
matDialog.open(...).afterClosed().subscribe(data => service.DoSmth(data))