MT
Вообще есть задача сжатия предложений, если я не ошибаюсь, можно погуглить подходы по этой задаче. По духу схоже с саммаризацией
Size: a a a
2020 July 13
I
кстати, в чате DL in NLP в двух словах обсуждали
AI
Дайте, пожалуйста, ссылку на чат
AI
Спасибо
ck
👋 есть у нас, допустим, NER из нескольких токенов, разбитых другими токенами. Например "Нижний, мать его, Новгород". Это инверсия наверное. Как с такими случаями поступают известные решения (Natasha, Spacy например)?
I
👋 есть у нас, допустим, NER из нескольких токенов, разбитых другими токенами. Например "Нижний, мать его, Новгород". Это инверсия наверное. Как с такими случаями поступают известные решения (Natasha, Spacy например)?
Как правила написаны, так и поступает
ck
Как правила написаны, так и поступает
какой вопрос - такой и ответ))
I
Вижу ты добавил про Спейси... Добавлю тоже:
Как данные были размечены, так и поступает
Как данные были размечены, так и поступает
ck
Вижу ты добавил про Спейси... Добавлю тоже:
Как данные были размечены, так и поступает
Как данные были размечены, так и поступает
это инверсия, или какой-то специальный термин придумали?
I
Ни Спейси ни Наташа никаких терминов не знает, так что назвать можно как удобнее
YB
👋 есть у нас, допустим, NER из нескольких токенов, разбитых другими токенами. Например "Нижний, мать его, Новгород". Это инверсия наверное. Как с такими случаями поступают известные решения (Natasha, Spacy например)?
я скажу так: понимать разрывы прямой речи ни одно решение не умеет, это редкая штука. При этом, в датасет при желании такие тренировочные примеры добавить легко.
I
Кажется и правила можно несложные придумать, но поди FP вырастит так, что не захочется использовать
OS
это инверсия, или какой-то специальный термин придумали?
это точно не инверсия, похоже на инфикс, но я сомневаюсь
DD
Возможно, имеет смысл сначала решить задачу удаления из текста междометий и прочих малозначимых слов, а потом уже запускать NER.
По такому пути идут, в частности, в навыках яндексовской Алисы - сначала нейронка (с учётом контекста) и/или словарь предсказывает значимость каждого слова, а потом запускаются правиловые парсеры и NER, которые могут слова с низкой предсказанной значимостью просто игнорировать.
По такому пути идут, в частности, в навыках яндексовской Алисы - сначала нейронка (с учётом контекста) и/или словарь предсказывает значимость каждого слова, а потом запускаются правиловые парсеры и NER, которые могут слова с низкой предсказанной значимостью просто игнорировать.
ck
Интерсено, если это инфикс, корректно ли выносить его? Например было А B A - станет AA B или B AA.
ck
Возможно, имеет смысл сначала решить задачу удаления из текста междометий и прочих малозначимых слов, а потом уже запускать NER.
По такому пути идут, в частности, в навыках яндексовской Алисы - сначала нейронка (с учётом контекста) и/или словарь предсказывает значимость каждого слова, а потом запускаются правиловые парсеры и NER, которые могут слова с низкой предсказанной значимостью просто игнорировать.
По такому пути идут, в частности, в навыках яндексовской Алисы - сначала нейронка (с учётом контекста) и/или словарь предсказывает значимость каждого слова, а потом запускаются правиловые парсеры и NER, которые могут слова с низкой предсказанной значимостью просто игнорировать.
Обучают НС на примерах, или как-то используют аттэншн?
I
Нейронные, аттеншн их, сети
I
(простите)
DD
Обучают НС на примерах, или как-то используют аттэншн?
Обучают на примерах, но часть примеров размечены автоматически, трансфером с других задач.