Eg
Size: a a a
2021 November 30
AK
А как ВСЕ формы сгенерить за раз?
Eg
за раз не знаю, но я бы в цикле перебрала все граммемы и удалила бы потом дубли...
AK
дубли удалить не вопрос. перебор графем там есть ли надо вручную дергать все варианты в зависимости от части речи?
Eg
думаю, что вручную. Не знаю, есть ли инструмент, который одной командой генерит всё.
ТИ
Есть же вроде атрибут lexeme, где все лексемы собраны
Eg
круто, не знала, спасибо!)
AK
Спасибо! Работает!
А однокоренные слова:
бутявка
=>
бутявочить,бутявочно,бутявочный
можно получить?
А однокоренные слова:
бутявка
=>
бутявочить,бутявочно,бутявочный
можно получить?
ТИ
Вот однокоренные я в своей работе не победил( в работе Екатерины Пронозы и Елены Ягуновой https://www.researchgate.net/publication/300138252_Low-Level_Features_for_Paraphrase_Identification упоминалось об использовании словаря Тихонова для этой задачи, но его найти в удобном для применения виде у меня не получилось.
Может быть коллеги отзовутся и помогут, был бы рад)
Может быть коллеги отзовутся и помогут, был бы рад)
ТИ
Вообще да,
есть на гите реализации по парсингу ruwordnet, но работает медленно.
Кроме того, есть ощущение, что на сайте более полная версия, потому как однокоренные слова не ищутся в скачанной версии ruwordnet (допускаю что плохо искал)
есть на гите реализации по парсингу ruwordnet, но работает медленно.
Кроме того, есть ощущение, что на сайте более полная версия, потому как однокоренные слова не ищутся в скачанной версии ruwordnet (допускаю что плохо искал)
DP
на гите за 2020 год данные
DP
они статичны с сайтом не связаны
ТИ
Я запрашивал новую версию, у Натальи Валентиновны Лукашевич, но там тоже однокоренные не нашел.
KS
В pullenti есть однокоренные слова, объединенные в так называемые дериватные группы. Там сейчас около 15000 групп однокоренных слов.
ТИ
TM
есть подходящие данные для файнтюнинга : хочется в тексте определять токены связанные с преступлениями (существительные, глаголы соответствующие названию ст ук или ак и тд) ? или все х-ня давай сначала?
DD
Есть короткие тексты, размеченные по стрёмным темам, в число которых входит и преступность. Можно попробовать начать с них. https://github.com/skoltech-nlp/inappropriate-sensitive-topics
TM
спасибо, гляну, думаю как основа пойдет