Что общее для материал, можно в общие стили, в отдельные файлики и глобально применять.
Специфическое через :ng-deep
Так делаем, полет норм, только главное чтоб нг дип всегда был обернут в какой то класс в компоненте или в :host иначе когда подгрузится не обернутый стиль, прописанный в компоненте через дип, то он станет глобальным, так как над ним нет локальной компонентой обертки с атрибутом.