Е
Спасибо вам за ответы
Size: a a a
2021 April 24
2021 April 25
ОК
Добрый день, мне нужно определять semantic similarity между двумя предложениями (логическое следствие/противоречие/нейтрал) для русского языка, кто-нибудь знает пример решения такой задачи, желательно при помощи rubert?
IS
Для semantic similarity (а не для логического следствия) можно посмотреть это:
https://www.sbert.net/
Либо возьмите вот эту модельку и смотрите косинусом (похожие будут больше 0.5-0.6) - https://huggingface.co/sberbank-ai/sbert_large_nlu_ru
А для согласованности одного предложения с другим, наверное, наиболее быстрым вариантом будет посмотреть в сторону Берт-задачи next sentence prediction
https://www.sbert.net/
Либо возьмите вот эту модельку и смотрите косинусом (похожие будут больше 0.5-0.6) - https://huggingface.co/sberbank-ai/sbert_large_nlu_ru
А для согласованности одного предложения с другим, наверное, наиболее быстрым вариантом будет посмотреть в сторону Берт-задачи next sentence prediction
SS
Народ, какое есть быстрое решение получить что-то типа операции пересечения множеств над двумя строками?
SS
Мне надо из "мама мыла раму" и "мама терла раму и дверь" получить "мама, раму" (целевая строка условно первая)
DS
set.intersection?..
DS
или задача сложнее?
Е
Ну, перед этим ещё токенизатором пройтись
VL
Ну типа да, пересечение множеств и сделать
SS
ну так то да, если
SS
это множество, я так и написал.
SS
Но у меня строки, и внутри есть не utf-символы, поэтому превратить строку в set просто так не просто )
DS
а в чем тогда вопрос?
SS
первая строка: 'Нурофен® Экспресс форте, капсулы 400 мг; блистер 10, пачка картонная 2; код EAN: 5000158105713; No ЛСР-005587/10, 2010-06-18 от Reckitt Benckiser Healthcare International Ltd. (Великобритания); производитель: Banner Pharmacaps Europe B.V. (Нидерланды); переоформлено'
DS
ну так почистите от мусора данные и потом токенизируйте
SS
вторая строка:'Нурофен® Экспресс форте, капсулы 400 мг; блистер 10, пачка картонная 2; код EAN: 5000158105713; No ЛСР-005587/10, 2010-06-18 от Reckitt Benckiser Healthcare International Ltd. (Великобритания); производитель: Патеон Софтджелс Б.В (Нидерланды)'
DS
или есть принципиальная разница между Нурофен® и Нурофен?
SS
получить мне надо только ту часть, которая в двух строках совпадает от начала: 'Нурофен® Экспресс форте, капсулы 400 мг; блистер 10, пачка картонная 2; код EAN: 5000158105713; No ЛСР-005587/10, 2010-06-18 от Reckitt Benckiser Healthcare International Ltd. (Великобритания); производитель:'
SS
как это сделать классически я знаю, вопрос был - нет ли быстрых решений.
DS