можно через spacy

мы недавно выпустили новую версию 2.2, там интегрированы вектора gensim

качество классификации очень возросло, а использовать платформу стало еще проще

там есть ноутбуки с примерами классификации заголовков новостей (лента) по топикам

но так же можно делать классификацию предложений на вопросы

ru2 модель вроде ещё не поддерживает spacy 2.2?

Звучит так, будто в дереве синт разбора ты заменяеш узел на икс и задаель вопрос про икс

Это где?

Тут все: https://github.com/buriy/spacy-ru/tree/v2.2

Огонь, спасибо!

да, пока только классификацию обновили для 2.2 , модели там есть, но без векторов.
более качественные POS, DEP и NER чуть попозже будут, видимо, через неделю.

Я бы находил главные ключевые слова в тексте, для них строил дерево синтаксиса, и заменял ключевое слово на соответствующее ему вопросительное (nsubj -> "кто", obj -> "кто" или "что" в правильном падеже, в зависимости от одушевленности и т.д.). При этом можно обрезать часть предложения, не относящуюся к данной ветке. Может этот подход и не такой модный, как трансформеры, но качество должно быть хорошим для данной задачи. Сложности -- правильная обрезка, ошибки синтаксиса. А для правильного обнаружения ключевых слов -- надо делать textrank, или его упрощение, просто считать частоты (частоты лемм).

ИМХО можно и на простую штучку посмотреть https://pypi.org/project/rake-nltk/
Rapid Automatic Keyword Extraction algorithm using NLTK

здесь тоже самое, но качество будет выше за счет учета морфологии и синтаксиса, обученных на других задачах

SpaCy универсальный фреймворк, который позволяет тренировать сложные модели End-to-End пробрасывая вектора между каждым слоем. т.е. он берет на себя много работы по разработке пайплайна (чтобы не ломать голову как вместе с эмбедингом правильно передавать морфологию и лемму слова, зависимости слов одно от другого и т.д.)

в него без проблем можно воткнуть gensim или transformer и наблюдать как вырастет качество

Всем привет, а есть ещё какие-нибудь русские датасеты с фактами кроме вот этого (https://github.com/dialogue-evaluation/factRuEval-2016/tree/master/devset)?

он настолько универсален, что даже русская модель хорошо справляется с IMDB сантиментами и показывает довольно хороший результат