Так даггер сам будет её создавать. Ну или, как вариант, можно написать свою реализацию делегата viewModels, который будет принимать вместо фабрики провайдер, тогда даже не нужно
@Inject constructor на фабрику ставить. Тема в том, что будет не одна фабрика, которая умеет создавать 10 разный вьюмоделей, а 10 фабрик, каждая из которых будет уметь создавать только свою вьюмодель.