Господа, подскажите, пожалуйста. Как дообучить Natashu, если она неправильно, например, определила  фамилию человека, как ORG?

смотря где она ошиблась. Если из-за словаря, добавить в словарь. В худшем случае придется форкать и дописывать грамматику для определения ФИО

Я, честно говоря, только сегодня с этой библиотекой начал работать, может, что-то не так делаю. Но какая-то странная нестабильность. Задача элементарная. В предложении выделить ФИО.  Если text = 'директор Скоков Дмитрий Петрович' - то все ок. [DocSpan(start=9, stop=32, type='PER', text='Скоков Дмитрий Петрович', tokens=[...])]
{'Скоков Дмитрий Петрович': {'first': 'Дмитрий', 'last': 'Скоков', 'middle': 'Петрович'}}
Если text = 'директор Скориков Дмитрий Петрович', то уже все по-другому:
[DocSpan(start=9, stop=17, type='ORG', text='Скориков', tokens=[...]), DocSpan(start=18, stop=34, type='PER', text='Дмитрий Петрович', tokens=[...])]
{'Дмитрий Петрович': {'first': 'Дмитрий', 'last': 'Петрович'}}  
То есть надо просто фамилию в словарь добавить?

да, попробуйте

Ну я же не знаю заранее, какие фамилии мне встретятся. Вроде простая фамилия.... И почему он отчество сразу начинает определять, как фамилию... Фигня какая-то.

Более того, если меняю просто имя и отчество, с той же фамилией, то все ок:
text = 'директор Скориков Роман Петрович'
[DocSpan(start=9, stop=32, type='PER', text='Скориков Роман Петрович', tokens=[...])]
{'Скориков Роман Петрович': {'first': 'Роман', 'last': 'Скориков', 'middle': 'Петрович'}}

надо смотреть грамматики, так сложно сказать где ошибка

Спасибо, покопаю.

Добрый вечер!
Изучаю nlp, есть задание кластеризации текстов на основе датасета lenta.ru
Какие методики будут точнее описывать кластеры, к чему стоит обратиться в первую очередь?
Заранее благодарен за ответ!

Тематическое моделирование возможно для начала попробовать

Если нужно именно описывать сами кластеры - абстрактивная суммаризация может подойти.

Добрый вечер!
Беру тексты из учебников, а там много переносов.
Существует ли простой способ удалить переносы, но слова в которых есть переносы при этом объединить(соединить)? Чтобы не получалось два слова.

Спасибо!!

я всё-таки сделаю комментарий: понятно, что хочется автоматизировать, но часто переносы строк видит условно ворд, а не какой-нб notepad++. я как раз много работаю с распознанными книгами или электронными книгами, и иногда проще тупо скинуть в ворд текст, там сделать эту простую автозамену, а потом почищенный текст вернуть обратно в нотпад или куда надо

языковые модели хорошо бы, но непонятно, сколько чего будет ловить, и есть всякие подводные камни в виде вставок из других языков и т.п.

Ну вот здесь и есть проблема, я беру файл.тхт с переносами, а ворд к сожалению эти переносы не понимает. Отсюда и желание каким-то образом автоматизировать с минимальными потерями слов. Но все равно благодарю за совет.

ага, если там совсем глухо, то понимаю, мой совет был скорее в первую очередь проверить на всякий случай

🙏

@yuri_baburov это баг или фича, что pymorphy нифига не страстный и слов таких не знает? 😍

[word.word for word in morph.parse('страсть')[0].lexeme]

['страсть']

pymorphy использует opencorpora, а там “страсть” есть …
Может, конечно, недавно добавили …