Size: a a a

Natural Language Processing

2021 March 11

K

KORBAR in Natural Language Processing
Oleg Serikov
простте, что оффтоп, но не знаете ли вы сопоставимого чатика по CV ?
да, мне тоже интересно было бы узнать
источник

VR

Vladimir R in Natural Language Processing
KORBAR
да, мне тоже интересно было бы узнать
Видимо задача не интересная, нет по ней веток отдельных
источник

VR

Vladimir R in Natural Language Processing
То что есть массово описано на хабре
источник

AS

Alexey Suchilin in Natural Language Processing
Всем привет! Кто-нибудь из пользовавшихся navec сталкивался с проблемой недостаточности словаря?

У меня navec.vocab['При'] выдаёт ошибку KeyError: 'При' . Это очень странно. Как будто в словаре такого слова нет
источник

ni

n i in Natural Language Processing
а если попробовать 'при', т.е. lower()?
источник

AS

Alexey Suchilin in Natural Language Processing
Так получилось, спасибо. Странно, что токенизатор из razdel не делает lower.
источник

OP

Oleg Polivin in Natural Language Processing
Борис Добров
Так, собственно, из-за нечеткости постановки трудно сформулировать условия "академического" эксперимента.
Если очень хочется, то надо определяться с критериями, потом разметка и метрики.
Да, спасибо! Я, собственно, и столкнулся, что моя задача поставлена в метриках precision/recall, но эти метрики сильно выше того, что можно найти в статьях.
источник

БД

Борис Добров... in Natural Language Processing
Если я правильно понимаю, тут надо использовать Extrinsic evaluation, то есть оценивать не сам состав ключевых слов, но влияние на качество поиска.
источник

SK

Sasha Korovii in Natural Language Processing
Здравствуйте, а есть ли пример на Pytorch для обучения небольшой сетки для классификации на FastText векторах?
источник

d

dePuff in Natural Language Processing
Sasha Korovii
Здравствуйте, а есть ли пример на Pytorch для обучения небольшой сетки для классификации на FastText векторах?
Любая понравившаяся модель классификации текстов, которая эмбеддинги юзает

Веса векторов только загрузить перед обучением и, при желании, заморозить

Размерность сконфигурировать / исправить
источник

N

Nidal Shevchenko in Natural Language Processing
Коллеги, всем доброго вечера. При извлечении ФИО с помощью Наташи, если первая буква - строчная а не заглавная, то уже не распознается ФИО. Может быть кто нибудь сталкивался с таким моментом? Спасибо.
источник

FF

Futorio Franklin in Natural Language Processing
dePuff
Любая понравившаяся модель классификации текстов, которая эмбеддинги юзает

Веса векторов только загрузить перед обучением и, при желании, заморозить

Размерность сконфигурировать / исправить
В случае fasttext тогда теряется смысл в том, что он решает проблему oov. Нужно просто на можель подавать уже torch матрицы векторов
источник

d

dePuff in Natural Language Processing
Futorio Franklin
В случае fasttext тогда теряется смысл в том, что он решает проблему oov. Нужно просто на можель подавать уже torch матрицы векторов
Если веса заморозить векторов, то oov решается )
источник

FF

Futorio Franklin in Natural Language Processing
dePuff
Если веса заморозить векторов, то oov решается )
Каким образом?
источник

d

dePuff in Natural Language Processing
Futorio Franklin
Каким образом?
В генераторе датасета генерим вектора

Вектора моделью не корежились
источник

FF

Futorio Franklin in Natural Language Processing
Если я правильно понял, то предлагается в вектора слов перенести в слой модели, но тогда теряется логика работы с нграммами если слова не окажется
источник

FF

Futorio Franklin in Natural Language Processing
А если это всё проделывать по-нормальному, то мы просто переизобретём fasttext
источник

d

dePuff in Natural Language Processing
Я на соревке в качестве эксперимента пробовал

Но там нюанс, тест фиксированный и нет проблем создать матрицу всего, что нужно
источник

d

dePuff in Natural Language Processing
В реалиях, да, попа с оов
источник

d

dePuff in Natural Language Processing
Но если в наглую долго и печально перед подачей в сетку создать вектора на каждый токен, то вроде ничего не мешает этому работать
источник