t2
Вот только где первичную разметку брать тоже непонятно
Size: a a a
2017 December 01
t2
Проблема вообще в том что обычный пос теггер дает мне один тег каждому уникальному токену, в то время как один и тот же токен может иметь разные значения и часть речи
TM
А разве в какой-нибудь вышке нет размеченных корпусов?
t2
У меня в словаре много сленга и терминов
PK
Проблема вообще в том что обычный пос теггер дает мне один тег каждому уникальному токену, в то время как один и тот же токен может иметь разные значения и часть речи
mystem? он же разрешает неоднозначности
PK
правда медленный............
TM
Можно было бы разметить вашу выборку, и сделать finetuning какой-нибудь готовой модели на большем корпусе
t2
Хм, я думал он только неизвестные слова умеет предсказывать
t2
Я майстему словарь скармливаю
DV
мне по работе нужен хороший пос теггер который бы учитывал контекст, врде в наташу обещали завезти, но я еще не тестил
Привет, вот здесь ребята собрали список открытых морф. анализаторов: https://github.com/dialogue-evaluation/morphoRuEval-2017#opensource-tools
Из того, что я пробовал, для русского языка самое простое и с достойным качеством, это - https://github.com/kmike/morphine , от Михаила Коробова :)
Вот тут результаты morphine для morphoRuEval-2017: https://github.com/kmike/dialog2017#crf-baseline (в котором, кстати, шел разбор корпусов из интернета - жж, вконтакте и т.д.)
Из того, что я пробовал, для русского языка самое простое и с достойным качеством, это - https://github.com/kmike/morphine , от Михаила Коробова :)
Вот тут результаты morphine для morphoRuEval-2017: https://github.com/kmike/dialog2017#crf-baseline (в котором, кстати, шел разбор корпусов из интернета - жж, вконтакте и т.д.)
TM
TM
t2
Привет, вот здесь ребята собрали список открытых морф. анализаторов: https://github.com/dialogue-evaluation/morphoRuEval-2017#opensource-tools
Из того, что я пробовал, для русского языка самое простое и с достойным качеством, это - https://github.com/kmike/morphine , от Михаила Коробова :)
Вот тут результаты morphine для morphoRuEval-2017: https://github.com/kmike/dialog2017#crf-baseline (в котором, кстати, шел разбор корпусов из интернета - жж, вконтакте и т.д.)
Из того, что я пробовал, для русского языка самое простое и с достойным качеством, это - https://github.com/kmike/morphine , от Михаила Коробова :)
Вот тут результаты morphine для morphoRuEval-2017: https://github.com/kmike/dialog2017#crf-baseline (в котором, кстати, шел разбор корпусов из интернета - жж, вконтакте и т.д.)
Бенч последней ссылки впечатляет
t2
Тэкс, ну надо значит все попробовать
t2
А что из этого нет в spacy, что вы бы хотели запилить?
t2
Или идея в том чтобы использовать именно spacy?
TM
Просто он очень мощно развивается, удобен и в нем есть сразу много инструмнтов. Ну и потом мне нужен хороший NER, а в Spacy под это целая инфраструктура - хочешь грамматики пиши, хочешь нейронки прикручивай
EI
Привет, вот здесь ребята собрали список открытых морф. анализаторов: https://github.com/dialogue-evaluation/morphoRuEval-2017#opensource-tools
Из того, что я пробовал, для русского языка самое простое и с достойным качеством, это - https://github.com/kmike/morphine , от Михаила Коробова :)
Вот тут результаты morphine для morphoRuEval-2017: https://github.com/kmike/dialog2017#crf-baseline (в котором, кстати, шел разбор корпусов из интернета - жж, вконтакте и т.д.)
Из того, что я пробовал, для русского языка самое простое и с достойным качеством, это - https://github.com/kmike/morphine , от Михаила Коробова :)
Вот тут результаты morphine для morphoRuEval-2017: https://github.com/kmike/dialog2017#crf-baseline (в котором, кстати, шел разбор корпусов из интернета - жж, вконтакте и т.д.)
👍🏻
N
Я, видимо, что-то пропустил
А что случилось с доками наташи?
А что случилось с доками наташи?
2017 December 05
СТ
Всем привет!