V
Тоже видел, там получается надо будет скрипт делать, который из него данные сначала извлечёт, точнее весь словарь соберёт
Словаря в виде файла я там не нашел
Словаря в виде файла я там не нашел
Size: a a a
2019 November 18
VI
Ещё проблема в том, что там частоты не учитываются
SZ
Можно юзать его как сервис и кэшировать по идее. Там больше вопрос, какую именно расшифровку использовать, если их несколько.
VI
там у чс есть много расшифровок, и черезвычайная ситуация не на первом месте
SZ
возможно, придётся заморочиться с определением контекста и прочее такое
SZ
По запросу "и т.д." выдаёт целую страницу всякой лабуды, но и "и т.д." на ней тоже есть
V
Вот этот словарь в таком контексте смотрится лучше, хоть он и сильно меньше
Там максимум 2-3 значения для каждой расшифровки, руками за пару часов думаю можно будет отобрать то, что больше подходит под мою ПО
Там максимум 2-3 значения для каждой расшифровки, руками за пару часов думаю можно будет отобрать то, что больше подходит под мою ПО
S
Есть задача по логам чата выявить пары сообщений, потенциально полезные для обучения чат-бота.
Типо вопросы-ответы, реакции на утверждения ("не забудь купить молоко" - "хорошо, не забуду", "они молодцы" - "да, я за них болел") и возможно что-то ещё. Как к такой задаче стоит подойти?
Помню была статья, где юзался датасет для классифицирования двух суждений, как они с друг другом соотносятся, но там был берт и это как -то жирно
Типо вопросы-ответы, реакции на утверждения ("не забудь купить молоко" - "хорошо, не забуду", "они молодцы" - "да, я за них болел") и возможно что-то ещё. Как к такой задаче стоит подойти?
Помню была статья, где юзался датасет для классифицирования двух суждений, как они с друг другом соотносятся, но там был берт и это как -то жирно
а найдется ссылка на эту статью?
VI
а найдется ссылка на эту статью?
нет, сорян. ну там не очень интересно на самом деле, просто взяли датасет пар и пытались предсказывать, является ли правая чать объяснением левой, или они нейтральны (но про одно и то же)
S
понял - я кажется даже читал эту статью
Y
Как сделать чтобы при pos-tagging spacy ru адекватно реагировала например на "когда-нибудь", а не разбивала бы на 3 токена?
@yuri_baburov
@yuri_baburov
YB
Yurii
кванторы это конечно хорошо, но скажите лучше где взять все варианты частей речи для слов в английском языке
Есть Wiktionary, может даже кто-то его для вас уже распарсил
YB
Yurii
Как сделать чтобы при pos-tagging spacy ru адекватно реагировала например на "когда-нибудь", а не разбивала бы на 3 токена?
@yuri_baburov
@yuri_baburov
Надо сделать там в lemmatizer правило для объединения токенов по дефису. Могу завтра посмотреть подробнее и пример такого правила написать
NM
Есть Wiktionary, может даже кто-то его для вас уже распарсил
Официальные выгрузки можно просто скачать
Y
Надо сделать там в lemmatizer правило для объединения токенов по дефису. Могу завтра посмотреть подробнее и пример такого правила написать
Спасибо, было бы неплохо.
YB
Официальные выгрузки можно просто скачать
Да, но там эта информация не в инфобоксах, нужно парсить именно HTML для извлечения нужной информации. Лучше даже не Вики-шаблоны из выгрузки, а именно html.
YB
Ну или можно взять любой словарь англ языка
AP
Друзья, знакомый разрабатывает онлайн редактор семантических графов biomindmap.com, подскажите пожалуйста какие продукты с ИИ можно применять для создания и улучшения подобных семантических графов ? Для NLP научных статей в графы, привязки весов/метрик итп ?
2019 November 20
hj
Demystifying Classical Data Analysis and EDA-Introduction
https://www.linkedin.com/pulse/demystifying-classical-data-analysis-eda-introduction-harin-joshi
https://www.linkedin.com/pulse/demystifying-classical-data-analysis-eda-introduction-harin-joshi
2019 November 21
D
Может кто-нибудь подсказать, где я могу почитать про методы, способы визуализации данных после извлечения из текста ключевой информации?