Телеграмм чат группы nlp

Size: a a a

NLP_RU - Natural Language Processing & Text Mining

307 membersпожаловаться на группу

2020 July 23

Elena in NLP_RU - Natural Language Processing & Text Mining

если нет отчества, то значит человек иностранец и там вообще нереально по имени догадаться

источник

15:38пожаловаться #1

Tatiana Rogovich in NLP_RU - Natural Language Processing & Text Mining

Maria

мне кажется, что если совсем простое решение, то отчество + какой-нибудь словарь имён (не все случаи покроет, но пишется быстро и работает сносно)

есть ли гендерные маркеры в какой-нибудь Наташе, не знаю (

Йеп

источник

15:53пожаловаться #2

D in NLP_RU - Natural Language Processing & Text Mining

Шайя Лабаф например. Словарь имен, окончание отчества, окончание фамилии.

источник

17:06пожаловаться #3

D in NLP_RU - Natural Language Processing & Text Mining

У дадаты есть апи https://dadata.ru/api/clean/name/

Dadata.ru

DaData.ru — максимум информации по клиентам и контрагентам

Исправляет опечатки в ФИО, транслитерирует, проставляет пол и склоняет по падежам.

источник

17:06пожаловаться #4

Natalia in NLP_RU - Natural Language Processing & Text Mining

Константин

какие простые готовые решения есть для определения пола по ФИО?

мне почему-то кажется, что где-то даже дорожка на что-то похожее была

источник

17:18пожаловаться #5

Константин in NLP_RU - Natural Language Processing & Text Mining

У дадаты есть апи https://dadata.ru/api/clean/name/

Dadata.ru

DaData.ru — максимум информации по клиентам и контрагентам

Исправляет опечатки в ФИО, транслитерирует, проставляет пол и склоняет по падежам.

спасибо. Посмотрим
пока просто сделали ручными правилами по окончанию, 98% случаев покрывает. Остальные просто пропускаем

источник

17:19пожаловаться #6

Константин in NLP_RU - Natural Language Processing & Text Mining

у нас данные строгие [фамилия имя отчество], без пропусков

источник

17:20пожаловаться #7

2020 July 24

Lev Lunev in NLP_RU - Natural Language Processing & Text Mining

Ребят, всем привет!

Есть отчёты о том, кого добавили/убрали с должности в компании. И они могут быть в форматах типа...

[Убран/добавлен]: [должность]: [описание человека]
[Убран/добавлен] [должность]: [описание человека]
[Должность]: [описание человека]

При этом вокруг может быть ещё куча мусора. Я думал это решать через поиск человека с помощью NER и dependency-парсингом в spacy, но думаю, насколько это адекватно и подходит ли вообще исходная модель spacy для этого.

источник

20:18пожаловаться #8

Elena in NLP_RU - Natural Language Processing & Text Mining

Надо знать, с какой точностью работает модель NER для русского языка

источник

20:43пожаловаться #9

Lev Lunev in NLP_RU - Natural Language Processing & Text Mining

Вообще, это для немецкого. Там под 85%

источник

20:43пожаловаться #10

Elena in NLP_RU - Natural Language Processing & Text Mining

Для испанского например NER в спейси работает очень плохо, так что это невозможно использовать в реальных задачах

источник

20:44пожаловаться #11

Lev Lunev in NLP_RU - Natural Language Processing & Text Mining

источник

20:44пожаловаться #12

Elena in NLP_RU - Natural Language Processing & Text Mining

Надо пробовать на вашем документе и смотреть, подходит вам такое качество или нет

источник

20:45пожаловаться #13

D in NLP_RU - Natural Language Processing & Text Mining

Lev Lunev

Список должностей небольшой, проще составить словарь и обработать glr парсером

источник

21:21пожаловаться #14

Natalia in NLP_RU - Natural Language Processing & Text Mining

под любой относительно большой язык есть смысл ещё искать NER-модели конкретно под него, а не из больших общих либ. ну или посмотреть побольше общих ещё, если там использовали спец. датасеты

вот Stanza, там что-то с GermEval, например: https://stanfordnlp.github.io/stanza/available_models.html#available-ner-models

ещё просто репа: https://github.com/riedlma/sequence_tagging

Stanza

High-performance human language analysis tools, now with native deep learning modules in Python, available in many human languages.

источник

23:48пожаловаться #15

Lev Lunev in NLP_RU - Natural Language Processing & Text Mining

Всем большое спасибо, буду разбираться!

Всем приятных выходных)

источник

23:49пожаловаться #16

2020 July 27

Lev Lunev in NLP_RU - Natural Language Processing & Text Mining

Ребят, всем снова привет!

А я правильно понимаю, что тренировка NER по сути учит модель понимать сущность из контекста?

То есть, если до этого мы не показывали ей какое-то имя, но тренировали её на других именах, то она сможет его найти?

источник

17:51пожаловаться #17

Natalia in NLP_RU - Natural Language Processing & Text Mining

или модель сама выводит правила (типа кавычек и заглавных букв, а также типичных суффиксов)

источник

17:52пожаловаться #18

Lev Lunev in NLP_RU - Natural Language Processing & Text Mining

Спасибо!)

источник

17:53пожаловаться #19

Natalia in NLP_RU - Natural Language Processing & Text Mining

ну то есть одно не исключает другое

источник

18:09пожаловаться #20