Кастомные валидаторы у меня ток на проверке пароля. Лежат отдельным файлом в utils, сериализатор там вообще не использую, проверяю пароль непосредственно в модели этими валидаторами через вот такую штуку:
validators = get_password_validators(validator_config=settings.AUTH_PASSWORD_VALIDATORS)
ну и по validators циклом проходусь собирая ошибки в список