(юзаю просто для исправлений, не из OCR)

Ребята, привет!
Подскажите, пожалуйста, по поводу функционала модели GPT-2 для русского языка.

На гитхабе нашла несколько моделей (ru). Как поняла они заточены под задачу генерации текста, хотя может и еще что-то умеют, пока не представляю. Сейчас пытаюсь затестить.

Ранее с GPT-2 я не работала (как для eng так и rus версии). В некоторых местах пишут,что с GPT-2 можно делать много разных интересностей, например краткую версию текста "summary" (однако для русского языка, ничего не нашла)

Может кто-нибудь ранее работал с ru GPT-2 и в курсе, что происходит с версией для русского, какой набор функционала есть или в курсе где эту информацию можно найти.

Заранее спасибо!

для русского к сожалению качество не очень, глобальная проблема мало датасетов для тюнинга.
И для суммаризации есть другие модели

Интересно, какие?

Датасет и статья сравнение для русской сумаризации https://github.com/IlyaGusev/gazeta

Благодарю

Ок, про задачу суммаризации ясно. Спасибо!)

Т.е. правильно ли я поняла, что GPT-2 для русского, более менее можно использовать только для задачи генерации текста (и то не факт, что хорошо сработает из-за малого датасета) и все... верно?

Еще скорее всего пригодится подробное сравнение метрик и моделей суммаризации:
https://github.com/Yale-LILY/SummEval
https://arxiv.org/abs/2007.12626

Спасибо

чем абстрактная суммаризация - не генерация текста?

русский язык есть в mBART, можно попробовать суммаризацию

А можете ссылку дать? Не могу в трансформерах найти

Или он в своём репозитории?

На hugging face в списке моделей есть

у HF вроде бы нет mbart модели без WMT finetuning (mbart cc25), если нужна CC25 модель — то она есть в fairseq
https://github.com/pytorch/fairseq/blob/master/examples/mbart/README.md

Всем привет, хочу запилить pet-project, а-ля реактор на некий контент (типа допустим в инпуте новость, а в аутпуте некая относительно короткая реакция, типа твит),
можете плиз подсказать по постановке, какую модельку лучше дообучить суммаризирующую или диалоговую

обе?

Больше моделей богу моделей

На чем ты ее хочешь дообучать?

Думал загнать
News - twitter реакция
Эт кастомный датасет спарсенный