Всем привет, я только учусь. Вопрос: подскажите, пожалуйста, как можно лемматизировать столбец в csv файле, желательно использовать библиотеку pymystem3. Цель: в столбце цели кредита, надо рассортировать по категориям

Df=pandas.read_csv(...).fillna(''); Df['crl'] = [lemmatize(x) for x in Df['credit']]
Уж функцию lemmatize напиши сам. Или можешь подглядеть в github.com/buriy/nlp_workshop .

Спасибо большое

Я не помню, откуда у меня эта книга, но вот

Uncertainty Detection in Natural Language Texts

Может, она содержательная и кому-то пригодится, не знаю

Где достать список всех приставок, предлогов, частиц, междометий, союзов, предикативов, местоимений? Мб еще что упустил)

Yurii Часть можно из pymorphy извлечь, плюс из различных словарей с морф метками. Часть приставок там же можно извлечь.

Могу скинуть текстовик с приставками, если нужно

Нужно конечно)

Коллеги, а кто как решает следующую задачу:

есть классификатор по конкретной предметной области. Классификаторо работает неплохо, когда пользовать задает вопрос из этой предметной области. Но все становится не очень хорошо, когда вопрос приходит из другой предметной области. Ну и естественно, все становится совсем плохо, когда мы заранее не знаем все вопросы (предметные области). Каждый классификатор пытается притянуть вопрос к одному из заданных классов. Но ирония в том, что такого класса нет 🙁

Кто как решает подобную задачу?

спасибо

Вторая сетка которая определяет релевантный это вопрос или нет?

а реализации никто не встречал?

вот такое есть https://github.com/PatrickgHayes/OOD_for_Sequences но там попроще

Есть трансляция без синхронного перевода?

🤷‍♂