Да но какая конкретно из предобученных? Мне именно косинусный расстояние нужно.

Куда смотреть?

ну fasttext возьми или word2vec предобученные, чем больший был датасет для модели, тем больше вероятность, что твой домен будет хорошо работать.

Fasttext  для русского языка?

А в чем проблема?

Он для любого языка

Мы юзаем для классификации, нам достаточно

А есть примеры использования русской модели для косинусного расстояния? Для английского языка с flair я нашёл массу, а как подступиться к русскому не очень понимаю.

У deeppavlov нет?

Не вижу там примеров работы с параграфами текста на русском

Можно гугловский multilingual universal sentence encoder взять, он ровно под косинусы обучался

есть ещё LASER от Facebook. охват по языкам у них больше.

никто не проводил сравнение качества этих двух моделей? беглый поиск в сети ничего не дал.

вообще самый простой и прямолинейный baseline - это просто (или не просто, например по методу smooth inverse frequency embeddings) усреднить векторы отдельных слов в предложении, и дальше с этими векторами работать так же, как с векторами отдельных слов. это просто реализуется на практике, работает очень быстро и даёт сравнительно неплохую точность. как уже было сказано выше, если нужна большая точность, то можно воспользоваться предложенными выше моделями и при необходимости дообучить их.

О, а есть какие-то обзорные статьи про лазер, с плюсами и минуса и и про разные языки?

есть несколько популярных статей, но там в основном речь идёт о использовании моделей, а не о бенчмарках. в статье от самого fb есть сравнение с другими SOTA моделями и несколько слов про точность для 14 языков по сравнению с английским.
https://engineering.fb.com/ai-research/laser-multilingual-sentence-embeddings/
на момент выпуска статьи LASER побил BERT во всех языках кроме английского и испанского (на XNLI).

а вот сравнения с более свежими моделями я не нашёл

чет нигде не видел, чтобы лазер где-то риали заходил

по непонятной причине он непопулярен, по сравнению с гугловскими моделями. тот же BERT для получения векторов предложений куда ни попадя пихают.

Пытался юзать диппавлов, но там инференс был 2 секунды, для продакшена долго. Но если не риалтайм то норм