В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Natural Language Processing

1279 membersпожаловаться на группу
2019 December 14

I

Ilya in Natural Language Processing
Вопрос интересный про выделение фактов. Что вообще считать за факт:
либо в терминах rdf - триплет, либо отношение из синтаксического дерева, которое тоже похоже на триплет.

Вот по теме, интересная статья:
https://arxiv.org/abs/1906.05317
источник
14:16пожаловаться#1

A

Aragaer in Natural Language Processing
А вот вопрос. Я хочу чтобы у меня фразы делились на интенты с дополнительными параметрами. То есть
Пинг -> intent=ping
Тыц -> intent=ping
Привет -> intent=ping, extra=greeting
Доброе утро -> intent=ping, extra=greeting,morning
Соответственно по интентам я могу натренить. А вот экстра как доставать?
источник
14:17пожаловаться#2

NS

Nikolay Shmyrev in Natural Language Processing
Aragaer
А вот вопрос. Я хочу чтобы у меня фразы делились на интенты с дополнительными параметрами. То есть
Пинг -> intent=ping
Тыц -> intent=ping
Привет -> intent=ping, extra=greeting
Доброе утро -> intent=ping, extra=greeting,morning
Соответственно по интентам я могу натренить. А вот экстра как доставать?
https://rasa.com/docs/rasa/core/slots/
Rasa
Slots
Store information the user provided as well as information from database
queries in slots to influence how the machine learning based dialogue
continues.
источник
14:38пожаловаться#3

A

Aragaer in Natural Language Processing
не, я думаю flair обучить. Вопрос в том, как это правильно разметить. Потому что intent это label, а вот дополнительное это куда?
Можно обучить две модели - одна будет доставать интент, а вторая возможно что-то дополнительное.
источник
14:40пожаловаться#4

NS

Nikolay Shmyrev in Natural Language Processing
Aragaer
не, я думаю flair обучить. Вопрос в том, как это правильно разметить. Потому что intent это label, а вот дополнительное это куда?
Можно обучить две модели - одна будет доставать интент, а вторая возможно что-то дополнительное.
NER тоже самое, просто классы не имена а время, например.
источник
14:43пожаловаться#5

NS

Nikolay Shmyrev in Natural Language Processing
https://www.reddit.com/r/LanguageTechnology/comments/45g5hr/what_is_the_difference_between_slot_filling_in/
reddit
What is the difference between slot filling in NLU and named...
Both tasks are sequence-tagging tasks. I don't see what the difference is? **Example publications** NER:...
источник
14:43пожаловаться#6

A

Aragaer in Natural Language Processing
ага, буду думать, спасибо
источник
14:44пожаловаться#7

A

Aragaer in Natural Language Processing
то есть получается две модели - одна для классификации, вторая для ner.
источник
14:51пожаловаться#8

DP

Dmitry Popov in Natural Language Processing
Здравствуйте, подскажите пожалуйста куда капать в следующем вопросе. Есть узко специфичная выборка статей размеченная, но она маленькая, 500 статей. Нужно определять один из трех лейблов. Буду признателен за советы.  Сделал fasttext vectors + lstm   Но точность 0.66 на тестовой выборке
источник
18:01пожаловаться#9

ck

cnstntn kndrtv in Natural Language Processing
Может быть вместо fasttext - tfidf - так будет учтена специфика корпуса, или взвесить ft на tfidf - так  получишь и преимущества большого ft и специфику учтешь.
У меня ещё хорошо сработал дообученный (но это долго,) Elmo + cnn.
источник
18:38пожаловаться#10

DP

Dmitry Popov in Natural Language Processing
cnstntn kndrtv
Может быть вместо fasttext - tfidf - так будет учтена специфика корпуса, или взвесить ft на tfidf - так  получишь и преимущества большого ft и специфику учтешь.
У меня ещё хорошо сработал дообученный (но это долго,) Elmo + cnn.
Спасибо
источник
18:54пожаловаться#11

NK

Nikolay Karelin in Natural Language Processing
Dmitry Popov
Здравствуйте, подскажите пожалуйста куда капать в следующем вопросе. Есть узко специфичная выборка статей размеченная, но она маленькая, 500 статей. Нужно определять один из трех лейблов. Буду признателен за советы.  Сделал fasttext vectors + lstm   Но точность 0.66 на тестовой выборке
А какую точность дает классический TF-IDF после фильтрации словаря (хотя бы выкинуть 50% самых частых и слова которые встрачались меньше 5 раз)?
источник
22:04пожаловаться#12

DP

Dmitry Popov in Natural Language Processing
Nikolay Karelin
А какую точность дает классический TF-IDF после фильтрации словаря (хотя бы выкинуть 50% самых частых и слова которые встрачались меньше 5 раз)?
Я так не пробовал, но обязательно попробую.

Пробовал вот еще как. Был tf-idf но на двух лейблах и с линейной регрессией. Она давала точность 52-55
источник
22:07пожаловаться#13

m

mel kaye in Natural Language Processing
Nikolay Karelin
А какую точность дает классический TF-IDF после фильтрации словаря (хотя бы выкинуть 50% самых частых и слова которые встрачались меньше 5 раз)?
а зачем выкидывать?
источник
22:07пожаловаться#14

YB

Yuri Baburov in Natural Language Processing
Nikolay Karelin
А какую точность дает классический TF-IDF после фильтрации словаря (хотя бы выкинуть 50% самых частых и слова которые встрачались меньше 5 раз)?
Почти не повышает точность, емнип, просто быстрее начинает работать, но зависит от задачи
источник
22:38пожаловаться#15
2019 December 15

A

Aragaer in Natural Language Processing
спасибо за наводку на flair - получил "модель языка", классификатор и теггер в 15 мегабайт суммарно
источник
00:44пожаловаться#16

A

Aragaer in Natural Language Processing
они пока простейшие, но я думаю там можно увеличить всякое без сильно большого их увеличения по размеру
источник
00:44пожаловаться#17

V

Vlad in Natural Language Processing
А можете пожалуйста ссылку дать на flair? Я как-то упустил её
источник
02:11пожаловаться#18

A

Aragaer in Natural Language Processing
https://github.com/zalandoresearch/flair
GitHub
flairNLP/flair
A very simple framework for state-of-the-art Natural Language Processing (NLP) - flairNLP/flair
источник
02:50пожаловаться#19

AD

Alfredo Diezo in Natural Language Processing
Всем привет
Столкнулся с такой задачей. Имеется некоторое предложение. За ним следует другое, и нужно определить: является следующее просто пересказом предыдущего, либо же это "продолжение истории"
Как понимаю, первое — это задача paraphrase identification. А второе? И чем лучше решать? Из того, что здесь видел — flair и LASER
источник
15:36пожаловаться#20