Size: a a a

Natural Language Processing

2021 March 23

KS

Konstantin Smith in Natural Language Processing
Danila Milovanov
Доброго времени суток. Хотел узнать какие есть хорошие способы для извлечения ключевых слов из текста, уже пробовал RAKE и подобные, есть ли решения получше для русских текстов?
Попробуйте pullenti.ru анализатор keywordAnalyser
источник

DD

David Dale in Natural Language Processing
Andrei
вопрос интересный

на эту тему @cointegrated советовал дообучить какуюнть генеративную трансформенную модель которая претрейнилась для перефразирования

у меня руки не дошли
Я прочитал твоё сообщение и сел прямо сейчас такую модельку файнтюнить. Вроде начинает получаться)
источник

A

Anton in Natural Language Processing
David Dale
Я прочитал твоё сообщение и сел прямо сейчас такую модельку файнтюнить. Вроде начинает получаться)
🔥🔥🔥Это прям круто!
Если необходимо, могу посодействовать ресурсами для обучения.
Так как решаю похожую задачу.
источник

AS

Artem Shelmanov in Natural Language Processing
David Dale
Я прочитал твоё сообщение и сел прямо сейчас такую модельку файнтюнить. Вроде начинает получаться)
А что за Трансформер?
источник

DD

David Dale in Natural Language Processing
Artem Shelmanov
А что за Трансформер?
mt5-small
источник

A

Anton in Natural Language Processing
David Dale
Я прочитал твоё сообщение и сел прямо сейчас такую модельку файнтюнить. Вроде начинает получаться)
На каких данных такую задачу можно тюнить?
источник

DD

David Dale in Natural Language Processing
Anton
На каких данных такую задачу можно тюнить?
Я попортил данные грубыми правилами: часть токенов выкинул, часть просклонял в случайно выбранную форму, часть поменял местами. И ещё экспериментирую с заменой на синонимы.

Вместо этого при желании можно имитировать грамматические ошибки, результаты распознавания речи, ну или что ещё вас интересует.
источник

Eg

Elena gisly in Natural Language Processing
источник

DD

David Dale in Natural Language Processing
🔥
источник

LD

Lednik Dwarf in Natural Language Processing
Здравствуйте, можете подсказать как в pymorphy2 прилагательное в существительное перевести? Или так нельзя? Пытаюсь через inflect, но что-то не выходит
источник

РН

Роман Некрасов... in Natural Language Processing
Не "корпуса", а "корпусы"))
источник

Eg

Elena gisly in Natural Language Processing
Роман Некрасов
Не "корпуса", а "корпусы"))
это был пример ошибки)
источник

A

Andrei in Natural Language Processing
David Dale
Я прочитал твоё сообщение и сел прямо сейчас такую модельку файнтюнить. Вроде начинает получаться)
мне это интересно с точки зрения создания синтетических датасетов. под конкретную задачу я например могу наделать шаблонов, подставлять туда что мне надо. но после шаблонного представления морфология не будет согласована, и кажется многим моделям это довольно критично (но замеров не делал)

если бы была штука согласующая после подстановок в синтетические шаблоны, кажется дело было бы приятнее

скриншот действительно 🔥
источник

A

Andrei in Natural Language Processing
Кибер Медик
Всем здравствуйте, нужен совет.

Cейчас ищу библиотечки/статьи по методам исправления контекстуальных ошибок для русского языка (когда род, спряжение, склонения нееправильные в предложении).

Из готовых решений нашел только для английского.

Посоветуйте какие-нибудь библиотеки, статьи, репы, подходы пожалуйста)

Сам думал сделать что-то на трансформерах, тк по опыту всякие марковские модели работают похуже чем нейронки. Например, взять корпус текста, токенизировать, с помощью pymorphy2 изменить форму слова, склонение, род и на этом обучить seq2seq.
а вот тут "из готовых решений нашёл только для английского"

а что это за штука?
источник

КМ

Кибер Медик... in Natural Language Processing
Andrei
а вот тут "из готовых решений нашёл только для английского"

а что это за штука?
https://github.com/R1j1t/contextualSpellCheck

Насколько я понял, там Берт внутри
источник

Е

Егорка in Natural Language Processing
Добрый вечер.
Подскажите, пожалуйста, где можно прочитать объяснение, какие именованные сущности относятся к Organization ? Я размечаю свой небольшой датасет и часто сомневаюсь относить ли названия сайтов, мессенджеров, интернет сервисов к ORG.
источник

KS

Konstantin Smith in Natural Language Processing
Lednik Dwarf
Здравствуйте, можете подсказать как в pymorphy2 прилагательное в существительное перевести? Или так нельзя? Пытаюсь через inflect, но что-то не выходит
В pullenti встроен большой словарь так называемых деривативных групп, группа содержит однокоренные слова разных частей речи. Функции в классе DerivativeService.
источник
2021 March 24

LD

Lednik Dwarf in Natural Language Processing
Konstantin Smith
В pullenti встроен большой словарь так называемых деривативных групп, группа содержит однокоренные слова разных частей речи. Функции в классе DerivativeService.
Спасибо
источник

N

Natalia in Natural Language Processing
что-то возник вопрос: а в slovnet есть возможность получать вывод прямо в conllu полного формата?
смущает, например, то, что в тэге склеено UPOS вместе с FEATS, ну и вообще чтобы понимать, как до этого проще всего восстановить
источник

MA

Muhammed Alimbetov in Natural Language Processing
Ребята, где найти размеченные датасеты для русского языка, содержащие сарказм и иронию? Может кто-нибудь сталкивался с такими? Везде обыскал, для русского языка ничего не нашёл
источник