и это даже работает

другое дело, что нигде показано, что он для русского работает лучше другой автоматики

да и для английского это не совсем правда

Но на всех языках (ru и en) и всех датасетах (много), на которых я проверял, bertscore хуже меряет смысловую близость предложений, чем LaBSE+косинус, и уж тем более чем специализированные модели, обученные на задаче детекции парафраз или sts

для обоих языков это строго НЕ правда)

ну зачем-то авторы bertscore его делали :D

спасибоньки

а так да, на суммаризации он так себе

вот я  что-то такое сейчас и смотрю в своих делах)

chrF из той таблички оооочень приятно смотрится кстати

И для ещё ряда других задач тоже так себе.
Ямщиков, например, в прошлом году его на пяти датасетах сравнивал с другими метриками, и пришёл к выводу, что glove + word mover distance и то лучше работает. И это он ещё современные sentence encoders не пробовал.
https://arxiv.org/abs/2004.05001

В одной недавней статье для 4 европейских языков метрики смысловой близости на text style transfer сравнивали, и у них тоже chrF оказалось лучше остальных. Хоть меня и не покидает ощущение, что трансформерные метрики авторы там как-то неправильно готовили.
https://arxiv.org/abs/2110.10668

CrhF ещё и простая, как палка, я вообще удивлён, что её используют не настолько часто, как bleu или rouge. А ещё если внимательно почитать оригинальные статьи, то оказывается, что там переводу на русский особое внимание уделялось, поэтому на русских текстах она точно неплохо работает.

Добрый вечер. есть задача автомодерации текста(проще говоря бин класс-я хороший текст и плохой). настроил руберт от павлова.
1. длинна текста которую допускает берт 512 символов. правильно?
2. из за дисбаланса выбрал ф1. но качество просто ужасное. что можно сделать?

Для начала посмотрите на ROC-AUC, потому что для F-score надо пороги аккуратно выбирать.

ок

Давид, а frechet-bert-distancefrechet-bert-distance не пробовали запускать?

Нет, не пробовали. Из беглого взгляда на статью кажется, что метрика направлена не на сравнение смысла двух текстов, а на выявление систематической разницы между двумя большими мешками текстов, и для конкретно моей задачи это не особо релевантно.

(Я сравнивал метрики для text style transfer, там эта систематическая разница по определению есть, и выявляется более простыми методами, типа классификаторов).

поняла

Упражняюсь с cointegrated/rubert-tiny (в частности файтюню для NLI  на пробном датасете), вроде работает, Accuracy в районе 95% (данных совсем мало, думаю, можно лучше на больших датасетах). Но вопрос другой. Заглянул в словарь модели, там 29,5 тыс. токенов и нет специфических терминов, типа ПБУ, НДС и т. п. (специфических бухгалтерских терминов, у меня профессиональная бухгалтерская и юридическая лексика). Я правильно понимаю, что модель эти токены "не видит"?