Чем лучше классифицировать текст на предмет - новость, статья, худлит, интервью?

Согласно теореме о бесплатных завтраках нужно пробовать различные подходы)

телеграм обещал соревнование на классификацию текстов

Всем привет! Подскажите, пожалуйста. Я только начинаю разбираться в теме. Пишу ВКР "синтаксический анализатор рус языка". Пока нашла SpaCy, UDPipe, Natasha. Какой из них лучше подходит для задачи?

Deeppavlov еще. Список синт парсеров для русского https://github.com/natasha/naeval#syntax-parser

спасибо, спасибо!

Придумал новую тему: берем два трансформера и обучаем их общаться между собой

ага, кто кого переобучит

Ахах, один будет печатать "а а а а", другой будет отвечать "б б б б"

Конструктивный диалог

Ну справедливости ради в PPLM от убера похожую проблему решали добавлением kl divergence loss между затюненым распределением и распределением исходной lm

Народ, а как бы вы решали такую задачу: необходимо сделать классификатор типа документа. Типов несколько- уставы, договоры, протоколы, соглашения. Тематический контент внутри определяющим не является. Другими словами это может быть договор купли-продажи, а может быть соглашение о намерениях. Важно только понять тип. Датасет небольшой есть по каждому типу. Нюанс в том, что юридическая техника различна. Устав может быть с пунктами и без, аналогично договоры и соглашения. С протоколами чуть проще, там вроде как более менее есть своя структура.

То есть маркеры пунктов могут быть просто нумерованные, могут быть именные.

А качество классификации имеет критическое значение, можно даже пренебречь скоростью.

Сначала думал в сторону классики: токенизация, стоп-слова, лемматизация, затем tf-idf а вот дальше завис..

Одно дело типизировать договор по предмету, там все понятно, как отделить аренду от поставки. А тут?

У них в заглавии чаще всего разве не указано, что за тип документа?

Вот да, но нет. В моем случае на вход приходит документ после OCR, который часто режет хедеры и футеры, особенно если это документ на фирменной бумаге.

Классику точно стоит попробовать. Я не удивлюсь, если ключевых слов (или н-грамм) окажется в итоге достаточно.