NK
Я бы размером словаря сначала игрался. Ну и желательно немного посмотреть словарь "вглазную" перед дальнейшим моделированием (какие есть слова, мусор, частоты). Кстати, лемматизацию делали?
Size: a a a
2021 September 27
NU
Да, лемматизацию через stanza сделал
NU
Думаете расширить словарь?
NK
Наоборот. Убрать слишком частые и слишком редкие.
A
лемматизатор у stanza своеобразный кстати иногда.
"сравни" -> "сразни"
"сравни" -> "сразни"
NU
Спасибо!
NU
Да, а иногда казахские фамилии он видит как глаголы
NK
Кстати, еще и поэтому есть смысл просмотреть словарь, хотя бы самые частые самые редкие и немного в серединке.
Еще отличная задача: сравнить разные лемматизаторы (stanza, pymorphy, spacy, ...) и посмотреть, на каких словах есть разница.
Еще отличная задача: сравнить разные лемматизаторы (stanza, pymorphy, spacy, ...) и посмотреть, на каких словах есть разница.
LS
Всем привет! Подскажите, из неструктурированных вакансий на английском надо извлечь все локации и названия компаний. Пробовала ner spacy и предобученный dslim/ bert-base-NER. И все равно многое пропускается. Посоветуйте, что ещё посмотреть можно?
AG
Question answering ?
AG
Ребят, а нет ли случайно какого-то удобного интерфейса чтобы быстро размечать текст для ner ?
T
проще будет дотюнить модельку на своем домене
2021 September 28
AS
Не знаю на сколько быстро, но в целом довольно удобно
https://github.com/doccano/doccano
У них демо есть
https://github.com/doccano/doccano
У них демо есть
NK
Еще labelstudio
Кстати, в Слаке ODS был как-то большой пост с обзором инструментов разметки, включая labelstudio и doccano
Кстати, в Слаке ODS был как-то большой пост с обзором инструментов разметки, включая labelstudio и doccano
МЕ
Коллеги, кто со spaCy работает, каким параметром определяется, будет ли сохраняться model-best, а не model-last?
UPD: Некорректный вопрос. Пошарился по исходникам train loop'а, судя по всему, он сохраняет и то, и то параллельно, а
patience указан.UPD: Некорректный вопрос. Пошарился по исходникам train loop'а, судя по всему, он сохраняет и то, и то параллельно, а
patience просто останавливает процесс.
S
Друзья, кто работал с переводчиком Easy-NMT?
Мне нужно подключать заранее скачанные модели Opus-MT из папки а не качать их при первом использовании
Тут описано как это сделать для модели mBART50_m2m
https://github.com/UKPLab/EasyNMT/issues/44#issuecomment-908285722
Как сделать подобное для моделей opus-MT?
Мне нужно подключать заранее скачанные модели Opus-MT из папки а не качать их при первом использовании
Тут описано как это сделать для модели mBART50_m2m
https://github.com/UKPLab/EasyNMT/issues/44#issuecomment-908285722
Как сделать подобное для моделей opus-MT?
M
#jobs_Hr
Платим 1000$ за рекомендацию NLP Engineer!
К нам в Metinvest Digital R&D очень нужен NLP Engineer. Ищем уровня Middle/Senior.
Задачи такие, как, conversational solutions, text parsing, mood analysis, Intelligent OCR.
Мало рутины, много рессерча и нестандартных задач. Скучно точно не будет.
Доступен remote, поэтому идеальный кандидат может быть с любой точки Украины.
Платим 1000$ за рекомендацию NLP Engineer!
К нам в Metinvest Digital R&D очень нужен NLP Engineer. Ищем уровня Middle/Senior.
Задачи такие, как, conversational solutions, text parsing, mood analysis, Intelligent OCR.
Мало рутины, много рессерча и нестандартных задач. Скучно точно не будет.
Доступен remote, поэтому идеальный кандидат может быть с любой точки Украины.
N
Вопрос к украинским и белорусским коллегам. С чем вы работаете, если нужна инфлексия / морфогенерация? Знаю, что есть словарь украинского языка для pymorphy2, но вдруг существуют еще какие-то инструменты, о которых я не знаю.