ИГ
спасибо буду изучать
Size: a a a
2020 February 15
SP
Писал сам правила на yargy для поиска абсолютных и относительных дат. Кажется, что более менее успешно. Конечно, сходу сразу все возможные варианты трудно придумать, но можно расширять грамматики постепенно, добавляя новое
Мы первоначально пошли по этому пути. Но тут есть простой тест: берёшь решения от других авторов и тестируешь их, есть отличные мультиязычные парсеры, но даже они в какой-то момент четко ломаются на семантической и синтаксической неоднозначности языка. Например, ‘где-то в четверг’, в районе двух недель» - правильно распознает, а вот « где-то так две, если не ошибаюсь, недели назад» - нет никакой парсер правильно не нашёл.
SP
Просто надо решить для себя, что как и любая задача связанная с языком - это не простая задача, которая рельсами и if statements не решается
SP
но ок, да. сначала делаете датасет для детекции
Я честно верю, что где-то есть такой датасет.
YB
Я честно верю, что где-то есть такой датасет.
Глянь NER на когда у https://kelijah.livejournal.com/259705.html , это оно и есть. С помощью active learning добавляете его варианты, учитесь, получаете ещё больше вариантов.
YB
Глянь NER на когда у https://kelijah.livejournal.com/259705.html , это оно и есть. С помощью active learning добавляете его варианты, учитесь, получаете ещё больше вариантов.
Можете поставить флаг нужного entity или на всю цепочку слов, или на главное слово. Можно ещё DEP parser использовать для того же, но это сложнее. Это что касается детекции. А определение самого числа -- вам нужен будет рекурсивный парсер (или любой другой обход дерева синт разбора), который будет собирать ответ. Очень муторно делать, много мелочей и разновидностей фраз. Много тестов надо, проверяйте через TDD. По сути, вы пишете компилятор, но человеческого языка.
2020 February 16
SS
А какие есть подходы для решения задачи расстановки знаков препинания? Куда смотреть?
DK
А какие есть подходы для решения задачи расстановки знаков препинания? Куда смотреть?
берете текст, где они были, удаляете их, запомнив, и решаете задачу восстановления, обучающих корпусов много
SS
берете текст, где они были, удаляете их, запомнив, и решаете задачу восстановления, обучающих корпусов много
А есть примеры на гитхабе? В качестве baseline? Мне так то не попадалось, хотя задача не сказать, чтобы редкая.
D(
А есть примеры на гитхабе? В качестве baseline? Мне так то не попадалось, хотя задача не сказать, чтобы редкая.
Можно взять чью-нибудь архитектуру для NER или POS-теггера, только вместо тегов предсказывать для каждого слова, что после него надо вставить: ничего, точку, запятую, вопросительный знак, ...
DL
NS
А есть примеры на гитхабе? В качестве baseline? Мне так то не попадалось, хотя задача не сказать, чтобы редкая.
https://github.com/episodeyang/deep-auto-punctuation
https://github.com/panda-baba/bert_punct
https://github.com/nkrnrnk/BertPunc
https://github.com/miguelballesteros/LSTM-punctuation
https://github.com/dave-chatmost/pytorch-punctuator
https://github.com/bedapudi6788/deepcorrect
https://github.com/tensorflow/lingvo/tree/master/lingvo/tasks/punctuator
https://github.com/alpoktem/punkProsehttps://github.com/ottokart/punctuator2
NS
D
Какие-то из них есть уже с готовыми модельками, чтоб хуяк-хуяк и в продакшен?
YB
Какие-то из них есть уже с готовыми модельками, чтоб хуяк-хуяк и в продакшен?
для начала, на каком языке надо?
D
сорри, английский )
YB
есть готовые модельки для английского местами
YB
а @shulga_sergey может быть не английский нужен
D
задача интересная, для валидации хотел бы потестить такое решение
D
(препроцессинга точнее)