Size: a a a

Natural Language Processing

2021 May 05

YA

Yerlan Amanzholov in Natural Language Processing
Второй вариант очень хороший, попробую, спасибо
источник

SS

Sergey Shulga in Natural Language Processing
А есть ссылки на сберовский парафраз?
источник

DD

David Dale in Natural Language Processing
В [этом посте](https://t.me/izolenta_mebiusa/153) я писал про него, там ссылки на статью, гитхаб, модели.
источник

AZ

Andrey Zakharov in Natural Language Processing
это твой канал?
источник

BS

Bogdan Salyp in Natural Language Processing
Интересно, обязательно чекну
Сам занимаюсь перефразом, модель работает на smartwriter.io, но апи к нему пока не делал
источник

BS

Bogdan Salyp in Natural Language Processing
Имхо оценивать перефраз по косинусной близости неверно
Вольные перефразы отрезаются
источник

AS

Alex Surname in Natural Language Processing
вольный перефраз это что?
источник

BS

Bogdan Salyp in Natural Language Processing
Оригинал: Люблю грозу в начале мая
Строгий перефраз: Мне нравятся грозы в начале мая
Более вольный перефраз: В начале месяца мая мне нравится наблюдать грозу
источник

BS

Bogdan Salyp in Natural Language Processing
По симилярити первый вариант будет выше
Просто задача перефраза в коммерческом применении - повысить уникальность текста, сохранив смысл
источник

AS

Alex Surname in Natural Language Processing
можно синонимы, гиперонимы и тд прикрутить к косинусу или word2vec
источник

AS

Alex Surname in Natural Language Processing
+лемматизация/стемминг -стоп слова
источник

BS

Bogdan Salyp in Natural Language Processing
Да, но тогда обучится синонимайзер
источник

AS

Alex Surname in Natural Language Processing
"обучится синомайзер" - не понял
источник

FF

Futorio Franklin in Natural Language Processing
Выше, но не намного, проверил с помощью модели от сбера, разница между парафразами 3.74 процента
источник

BS

Bogdan Salyp in Natural Language Processing
Ну в идеале перефразер должен уметь не просто искать синонимы, а менять конструкцию предложения, сохраняя смысл
Так повышается уникальность и лучше сохраняется стиль предложения
Косинусная метрика найдет максимально близкое предложение
Когда из N результатов от модели только несколько реально хороших перефразов, то симилярити - самое то, сам в начале использовал
Когда уже бОльшая доля - хорошие перефразы, начинаются проблемы, действительно уникальные варианты уезжают вниз
источник

DD

David Dale in Natural Language Processing
Ага. Пишу про nlp, чатботы и разработку в целом, в основном там пересказы статей и мои наивные наблюдения за миром.
источник

AZ

Andrey Zakharov in Natural Language Processing
Очень крутой, недавно подписался как раз из за этого поста
источник

BS

Bogdan Salyp in Natural Language Processing
В целом очень классный эксперимент
(дальше строго имхо и могу быть не прав)
Для продакшена к сожалению ещё требует дебага, на короткие предложения не реагирует, теряет даты и имена

Вообще очень классно, что перефразом кто-то ещё занимается, захотелось вернуться к работе, хех
источник

BS

Bogdan Salyp in Natural Language Processing
источник

BS

Bogdan Salyp in Natural Language Processing
Но у меня тоже теряет кое-где контекст, надо будет доработать
источник