А что вы собираетесь классифицировать?

Классификацию я как пример привел.
Про генерацию больше вопрос. Вот пример,
Одна и та же затравка: Что такое машинное обучение?
Два выхода модели: один бредовый (вообще непонятно о чем), второй вполне себе раскрывает тему вопроса. Хотелось бы показать только вариант 2, т.к. он по качеству выше (моя оценка).

Т.е. у меня на выходе есть набор слов с вероятностью их генерации. Можно ли какую ту среднюю метрику вероятности применять как качество текста?

А может, вы говорите о перплексии?

Типа у вас есть стратегия декодирования, вы ею достаёте какой-то текст из модели, потом считаете перплексию и смотрите, насколько с т. з. самой модели этот текст адекватный

так может каким отдельным бертом замерить?

Если бы существовал какой-то оракул, который бы на каждый сгенерированный текст говорил бы, что бред, а что нет, то все его бы и использовали. Но его не существует. Что же касается средней вероятности, то у вас при генерации модель и так генерирует слово, имеющее максимальную вероятность, если я не ошибаюсь.

Если я правильно понял вопрос. Мне показалось, что вы хотите не сравниваьт с экспертным ответом, а просто смотреть, самой модели её выход нравится или нет

С перплексией непонятно. Ведь нету в сравнении с чем ее считать. Это как бы выход модели на реальном запросе пользователя.

Т.е. человек спросил, ему генерирует текст в трёх вариантах разный. Хотелось бы показать 1 самый лучший по качеству (смысл, читабельность, уверенность с точки зрения модели и т.п.)

Вроде как перплексия — это не расстояние сгенерированного текста до "правильного текста", там правильный текст не нужен, просто измеряете, хорошая ли верояттность у текста, которую достала ваша стратегия декодирования

Это про уверенность с точки зрения модели

Т.е. экспертного ответа нет

Ну он типа не нужен для перплексии, может конечно я туплю

А ещё можно и другие языковые модели припрячь и тоже считать перплексию

А ещё разметить совсем немного данных и всё-ттатки обучиьт классификаторы конкреттным задачам типа читабельности итп

Понял. Да. Возможно перплексия поможет в этой задаче. Спасибо

Тестовая выборка вроде и решает. Или я не понял.

Или модель не выдает уровень уверенности?

Самое годное решение - разметить вручную пару сотен текстов по степени качества, и на них обучить модель эту самую степень качества предсказывать. И ею скорить.
Бонус: в процессе разметки вы пройдёте большой путь в понимании того, чего же вам от текстов на самом деле хочется.

Друзья, может кто-то знает - а у кого у нас лучший английский TTS сейчас для мужского голоса? Я нашёл кучу женских моделей с волшебным качеством, а мужеские обучаются плохо и качество ни к черту.