он на русском разрабатывался опять же

🔥🔥🔥
Мэм, благодарю вас.

Так люди по разному делают. Компромисс в точности и сложности.
Можно все слова через word2vec прогнать, сложить вложения слов для каждого текста. И потом кластеризовать на основе L2. Будет супербыстро работать. Но хз на сколько точно.
Можно, как описали выше, использовать BERT.
Попробуйте разные способы.

Русский. Длина каждого текста - 10-30 предложений, примерно.

Данке. Погружусь.

там как-то не супер много, конечно, но что.то есть

оу, 10-30... посмотрите пакет sentence-transformers. у вас по сути текст, не предложения где можно работать со словами, а нужно с некоторой более высокоуровневной единицей

Видел его использование в одном из туториалов Кэггла. Спасибо за совет, его тоже покопаю.

Посмотрите https://www.youtube.com/watch?v=F3jsMAI5EF4. Там же можете найти ссылки на скрипт Jupyter.

Ого! И вам спасибо )

подскажите, чем извлечь сущности  из платежного поручения ?
может есть предобученные модели?

Привет! Никто не знает, есть ли в открытом доступе токенизация и лемматизация для арабского языка?

че-то ниче не могу найти

Какие сущности ?

сумма назначение платежа и т.д.

Чекните список поддерживаемых типов здесь http://pullenti.ru/Document

спасибо ушел смотреть

ну как минимум у udpipe и stanza есть что-то

Когда-то давно для задачи OCR я сделал типа универсального интерфейса (interface в терминологии C#\Java), который реализуют адаптеры над конкретными движками. В конечном приложении используется интерфейс, разумеется, чтобы отвязаться от реализации. Сделал адаптеры над CuneiForm, MODI, FR, позже Tisseract. Поскольку для слова (а некоторые и для букв) движки возвращают коэффициент уверенности, то я объединял результаты от разных движков, и комбинация CuneiForm + MODI давала результат не хуже, чем FR. Насчёт NER тоже хорошо бы что-либо подобное. Кстати, Apache предлагал такую универсальную спецификацию по обработке неструктурированных данных - стандарт UIMA. Он реализован на Java. Почему-то стандарт не получил достойной оценки, хотя мог бы...

спасибо!