AB
Ребят, а на какой аналог natasha+yargy посоветуете посмотреть для английского?
Size: a a a
2017 November 24
TM
Ага, а как он работает? Там для языка заданны примеры, а потом на них какой-то обобщающий алгоритм запускается?
2017 November 27
NT
SpaCy
Спасибо, наверное лучшее из того, что видел, хотя грамматики в их документации скромное место занимают
2017 November 30
NT
Слушайте, а если допустим долго и сложно писать грамматику для улиц, а хочется использовать тупой поиск по всем возможным улицам, которые могут состоять из слов и дефисом между, нескольких слов и так далее (вариантов много). Как в yargy проще всего такое получить?
S -> STREET, NOT_(STREET), STREET, NOT_(STREET)... и так далее, как вы поняли STREET это по сути поиск из списка
S -> STREET, NOT_(STREET), STREET, NOT_(STREET)... и так далее, как вы поняли STREET это по сути поиск из списка
NT
То есть допустим есть "ул. Академика Вернова", наш токенизатор побьёт на слова, так что ни одно стандартное правило для токенизатора не обработает эту улицу как 3 слова вместе, а по отдельности
NT
С ходу как бы идея тогда сделать regexp правило своё, где идёт поиск строк и списка, но какой-то моветон получается уж совсем
NT
И, кстати, пример с улицей с потолка, в natasha они есть вроде, но интересно как решается в общем случае
TM
Мне кажется это принципиально два разных подхода когда мы хотим токены и когда сущности, и вытаскивать второе из первого принципиально не верный подхох и просто другие инструменты надо использовать. Но я еще не до конца шарю в Ярге
NT
Да, ты абсолютно прав, грамматики не для этого. Но если возможно такой костыль заиспользовать с yargy, то это бы сильно время сэкономило
2017 December 01
G
Пропуская текст через spacy сразу получаешь всё - и части речи и сущности и токены и формы слов и много чего только с русским языком spacy считай не работает (
t2
Построим свой спэйси
PK
там вроде можно свою модель обучить
PK
TM
PK
вообще очень хорошая идея
TM
А кто готов сколько времени на это потратить?)
t2
мне по работе нужен хороший пос теггер который бы учитывал контекст, врде в наташу обещали завезти, но я еще не тестил
TM
Ох. А контектс как? Сложными регулярками или нейронками, так я не очень понимаю. И или разбивая на дерево и вытаскивая наличие других сущностей?
t2
Ох. А контектс как? Сложными регулярками или нейронками, так я не очень понимаю. И или разбивая на дерево и вытаскивая наличие других сущностей?
Да я сам не знаю как это правильно делать, но я думаю что-то вроде lstm туда можно прикрутить