DD
Можно скачать список словоформ с http://opencorpora.org/dict.php, положить их в https://pypi.org/project/pyahocorasick/, и пройтись скомпилированным ахокорасиком по вашему полотну текста. Думаю, получится довольно быстро.
Size: a a a
2021 November 02
N
тогда может быть и проще, конечно
N
но в вики, короче, не так уж и везде ударения, это раз
чем дальше в разные не сугубо русскоязычные регионы, тем больше веселья (и там вам даже языковая интуиция не поможет особо)
чем дальше в разные не сугубо русскоязычные регионы, тем больше веселья (и там вам даже языковая интуиция не поможет особо)
N
ещё по ударениям советую поискать odict
Eg
В OSM в теории есть такой тэг (https://wiki.openstreetmap.org/wiki/RU:Key:name:ru:word_stress), правда, вопрос, насколько много где он проставлен...
AL
Всем привет, подскажите пожалуйста, есть задача NER : находить в текстах именованные сущности. Что можно применить помимо регулярных выражений? Какие библиотеки (модели) можно задействовать? Тексты на русском языке. Заранее прошу прощения, вопрос от новичка)
🐙
AL
Спасибо!
🐙
https://github.com/natasha/natasha#ner
В Наташе тоже есть NER.
И в spacy, и в natasha есть возможность добавлять извлечение NER с помощью специальных правил, вдобавок к автоматическому.
В Наташе тоже есть NER.
И в spacy, и в natasha есть возможность добавлять извлечение NER с помощью специальных правил, вдобавок к автоматическому.
AL
Я пробовал использовать Natasha, но вероятно не разобрался во всех возможностях этого проекта. К примеру: мне нужно найти ФИО в тексте. Но не все ФИО распознаются как ФИО ( pos = ‘PROPN’)
🐙
https://habr.com/ru/post/516098/
Пробовали как в этих примерах, с функциональностью нормализации ФИО?
Пробовали как в этих примерах, с функциональностью нормализации ФИО?
AV
Из коробки ru_core_news_lg для spaCy умеет в ORG, PER и LOC.
Натравили на текст и сделали
Натравили на текст и сделали
for word in nertext.ents:Надо только ФИО - поставьте условие на PER и дело в шляпе
print(word.text, word.label_)
AL
Спасибо, сейчас попробую
🐙
Прям сходу фильтруя по лейблу дело может оказаться шляпой. Если у вас конкретно ФИО, то добавьте сверху пару правил на основе Matcher
AL
Да, читал, действительно большой проект. И немного растерялся, что из предложенных инструментов применить.
LL
А есть? Может договоримся?
MM
Подскажите, пожалуйста, какие есть пакеты в Python для подсчета дескриптивных текстовых фич (кол-во слов, символов, средняя длина слова, % уникальных слов в тексте и тп)?
Мигрирую из R и еще не знаком со всеми библиотеками
Мигрирую из R и еще не знаком со всеми библиотеками
YB
1. Detection -- start with regexps
2. Normalization -- try dateparser .
2. Normalization -- try dateparser .