ну тут увы, нет, потому что не для себя делалось (и то примерно половина датасета). но рассказываю как человек, который под эту задачу перерыл кучу источников и пытался понять, а что вообще существует

например, textacy как дополнение к spacy https://textacy.readthedocs.io/en/stable/index.html

А сделать не интересно? В опенсорс выложим потом. Ну и заплатим.

Всем привет. Подскажите, пожалуйста. Есть предложение, нужно каждое его слово представить эмбедингом. Вопрос в том, что, можно ли из берта как-то вытащить эмбеденги для каждого слова или так не выйдет и следует использовать w2v?

Для токенов (подслов) тривиально вытаскиваются эмбеддинги. Для именно слов можно получить их усреднением эмбеддингов токенов, например.

В той же самой Natasha/navec есть эмбеддинги именно для слов. Позиционируется как аналог RusVectores, так же можно взять сами RusVectores, но надо парсить POS.

DeepPavlov: ner_rus_bert, mult_bert, ner_rus; Stanza ner; Pullenti и то, что уже писали

а кто то сталкивался с тем, чтобы ранжировать текст по сложности концепций ? как думаете можно первое приближение получить ?  то есть вот к примеру чтобы хотя бы отличать интродакшн от не интродакшна, не имея никаких точных указателей на то, что это интродакшн)))

Окей, спасибо за инфу.

Если быть точнее, то в 49961 леммах из 432526 ударение не проставлено. Т.е. в больше чем 10%.
Правда, многие из них - имена и фамилии.

Соврал. Ударения нет в 71933 леммах. ~17%.

но при этом вы не можете посчитать те названия, которые вообще не попали в вики, так?

и да, в том-то и прикол, что имена и фамилии - это как раз заковыристые штуки в плане ударения, и хороших акцентуированных словарей до сих пор кот наплакал

коллеги,доброй ночи!
Я новичок в NLP, поэтому мне хотелось бы узнать побольше самой базовой информации.

Мне интересна автоматическая генерация вопросов к предложениям. Насколько я знаю существует несколько механизмов перестройки утвердительного предложения в вопрос.
Например,

Великая отечественная война началась 22 июня 1941 год.

В какой год началась великая отечественная война?
Ответ: 1941 год.

Вопрос мой звучит так: зачем тогда существует так называемые базы вопросов/ответов, на которых надо обучать предварительно модель?

Какую модель обучать?

Модель для составления вопросов/ответов на текст

Я,видимо, не очень корректно выразился

Потому что механизмы перестройки утвердительных предложений в вопрос работают 1)несовершенно и 2)не соответствуют естественному способу задавать вопросы

Например при составлении датасета SQuAD требовалось задать вопрос по абзацу. И в итоге часто разметчики просто копировали куски текста, минимально переформулируя утвердительные предложения в вопрос. Из-за этого со временем оказалось, что моделям относительно легко "обмануть" SQuAD: вместо понимания сути вопроса и сути возможных ответов можно находить ближайшую к вопросу подстроку текста и вокруг неё искать ответ, то есть фактически часто ответ заложен в вопросе. Это плохо, потому что достаточно незначительной переформулировки вопроса чтобы модель сломалась и не смогла найти ответ в индексе.
Соответственно хочется чтобы заданный вопрос и ответ были имели как можно меньше пересечений в тексте, а модель находила ответ, извлекая контекст из вопроса и ответа.
Так более новый датасет Natural Questions был собран по-другому: разметчику давался вопрос и предлагалось найти ответ в топ-5 выдачи поисковой системы. То есть более естественно по вопросу искать ответ, а не наоборот

Павел, спасибо за разъяснения!!!!

У меня тогда такой вопрос - я верно понимаю,что датасет вопросов и ответов составляется исключительно по новостям? Насколько их можно использовать, например, для генерации вопросов к тексту из учебника по физике?