ck
в четвёртой строчке вы берете результат для первого предложения
Точно. Спасибо!
Size: a a a
2020 July 06
ck
если вдруг кому-то нужен результат этого
YB
text —> lowercase —> truecase —> model ?
этот вариант теряет столько же информации, сколько и вариант сразу учить модель в lowercase.
ck
в четвёртой строчке вы берете результат для первого предложения
Спасибо. Как можно запустить на на slovnet_bert?
AI
этот вариант теряет столько же информации, сколько и вариант сразу учить модель в lowercase.
это не так вроде. Пруф: https://arxiv.org/pdf/1903.11222.pdf
AI
а мы про какую задачу говорим? NER или POS? Про POS правы Вы, про NER я.
AK
Спасибо. Как можно запустить на на slovnet_bert?
это непубличная часть либы, надо будет разбираться. Докер-контейнер https://hub.docker.com/r/natasha/slovnet-ner-bert, исходники https://github.com/natasha/slovnet/blob/master/docker/slovnet-ner-bert/app.py
YB
а мы про какую задачу говорим? NER или POS? Про POS правы Вы, про NER я.
возможно, я не очень понимаю их терминологию, но я наоборот вижу, что на POS можно сразу использовать lowercase (и непонятно, помогает ли предсказание case),
а на NER мы получаем падение с 92.45 до 90.25 .
а на NER мы получаем падение с 92.45 до 90.25 .
YB
слева NER, справа POS
AI
да, я как раз хотел заскринить
AI
Просто lowercase это в их табличке Uncased Test(U), т. е. 89.32 F1 score в NER
AI
Метод, про который говорил я, как Вы и сказали - 90.25 F1 score на NER
YB
смотрите. 92.45 -> 90.25 (учить на truecase) примерно соответствует 92.45 -> 89.32 (учить на lowercase)
и там и там происходит потеря качества, т.е. предсказание кейса не помогает. хм, ну ок, чуть-чуть помогает, оказывается. на NER.
а на POS эти ±0.2% неразличимы.
ну и лучший (и достаточный) вариант обучения, получается, cased+uncased.
и там и там происходит потеря качества, т.е. предсказание кейса не помогает. хм, ну ок, чуть-чуть помогает, оказывается. на NER.
а на POS эти ±0.2% неразличимы.
ну и лучший (и достаточный) вариант обучения, получается, cased+uncased.
AI
этот вариант теряет столько же информации, сколько и вариант сразу учить модель в lowercase.
Я согласен, что можно сделать лучше, чем я предложил. Но это не отменяет того, что Ваше утверждение ложное
AI
Плюс, то, что я предложил не нужно дообучать. Нужен только truecaser для русского и готовая модель
YB
Я согласен, что можно сделать лучше, чем я предложил. Но это не отменяет того, что Ваше утверждение ложное
в том смысле, что 90% лучше 89% (сравнивая относительно 92%)? ну, можно так считать, ок.
YB
спасибо большое за статью, надо взять метод на вооружение (а то одно дело свой опыт и свои бессистемные эксперименты, а другое дело чужие, более грамотные)
YB
эх, ещё бы syntax analysis где-нибудь так же потестили...
DK
эх, ещё бы syntax analysis где-нибудь так же потестили...
так это как?
YB
так это как?
такую же табличку посчитали для него.