Продолжение серии постов про проект Natasha. Что за Наташа? Почему в этот чат? См. https://t.me/natural_language_processing/16962

1. http://natasha.github.io/ner Natasha — качественное компактное решение для извлечения именованных сущностей из новостных статей на русском языке
2. https://t.me/natural_language_processing/17369 Почему Natasha не использует Transformers. BERT в 100 строк.
3. https://natasha.github.io/navec/ Navec — компактные эмбединги для русского языка
4. https://t.me/natural_language_processing/18186 BERT-модели Slovnet
5. https://t.me/natural_language_processing/18450 Corus — коллекция русскоязычных NLP-датасетов
6. https://t.me/natural_language_processing/18673 Ламповый стрим про историю проекта Natasha
#natasha

Чем наташа лучше станзы?

Чем наташа лучше станзы?

Razdel — сегментация русскоязычного текста на токены и предложения
https://natasha.github.io/razdel

Современные модели часто пропускают этап сегментации, используют BPE-кодировку, показывают замечательные результаты, вспомним GPT и весь зоопарк BERTов. Но, например, задачи определения морфологии и синтаксиса имеют смысл только для отдельных слов внутри одного предложения.

На новостях, нормальное качество сегментации на предложения даёт регулярочка [.?!]\s+. Правда, она будет ошибаться на сокращениях и инициалах: "аудиторией от 3 тыс.| |человек", "В.А.| |Моцарта". Для русского существует несколько хороших решений, которые учитывают эти нюансы, например, ru_sentence_tokenizer от DeepPavlov https://github.com/deepmipt/ru_sentence_tokenizer.

Единственный недостаток готовых решений — их нельзя настроить. Например, есть текст судебного акта, нужно выделить в нём результативную часть и поделить её на параграфы. Естественно готовые решения так не умеют. Библиотека razdel https://github.com/natasha/razdel — на самом деле, это не просто готовое решение для разделения на токены и предложения, а небольшой сегментационный движок на правилах. Как упороться и сделать на нём топовое решение стандартной задачи сегментации читайте в http://natasha.github.io/razdel. Как писать свои правила читайте в исходниках https://github.com/natasha/razdel/blob/master/razdel/segmenters/sentenize.py =)

Станза - это синтаксический и морфологический парсер. В Наташе основная фишка NER-тегинг.

Интересно, а есть аналогичные решения, но для английского языка?

Неделю назад я спрашивал про наличие библиотеки для выделения морфологических корней для русских слов. Её не оказалось. Я написал её сам - морфологический токенизатор. Если кому нужно будет, то его можно найти тут https://github.com/constantin50/morphological_tokenizer

такое? :)

спасибо

А что у вас за интерес такой? Какой-то конкурс идет? Просто аж 2 запроса для такой эзотерической темы за неделю — удивительно!

А что у вас за интерес такой? Какой-то конкурс идет? Просто аж 2 запроса для такой эзотерической темы за неделю — удивительно!

мне нужно было для конвертации отглагольного существительного в глагол (use case в readme на git)

Кстати, в Pullenti есть так называемые дериватные группы: объединение однокоренных слов разных частей речи. Например, "ПРОИЗВОДСТВО ПРОИЗВОДИТЕЛЬ ПРОИЗВОДСТВЕННЫЙ ПРОИЗВОДИТЬ ПРОИЗВЕСТИ ПРОИЗВЕДЕННЫЙ...". Объединяет существительные, прилагательные, наречия, глаголы несовершенный и совершенные, причастия. Словарь содержит около 15000 групп. Использовать так: в классе Explanatory есть статическая функция List<DerivateGroup> FindDerivates(string word, bool tryVariants = true). Вернёт null, одну или несколько вариантов групп для слова (word - в верхнем регистре и нормальной форме). В рамках группы DerivateGroup можно перебрать список List<DerivateWord> Words и по атрибутам найти подходящий. Второй аргумент - если слово не найдено, то поищет по аналогии и сгенерирует соотв. группу.

Увы, не только я его делал, и в текстовом виде выложить пока не могу.