t
а веса уже где-то доступны?
Size: a a a
2020 June 06
AS
Есть мод gpt он управляется: задаётся начало и концовка и тем самым модель не скатывается в треш.
Что за мод?
ES
Всем алоха. Есть у кого материал или сборки по NLP – извлечение именованных сущностей?
YB
задача называется NER (Named entity recognition). про неё материалов -- вагон.
2020 June 08
S
Коллеги, встречали хорошие обзорные материалы по стартапам, которые по большей части на NLP завязаны?
D
Что эта аудиозапись делает тут? И кто админ?)
AK
датасет прислали
D
датасет прислали
точно))
D
пятисекундный датасет
D•
@dveselov надо ставить другого бота :)
DV
видимо да, спасибо)
М
Привет всем. Какой sentence embedder для русского языка лучше использовать, чтобы потом искать близкие предложения? (e.g. universal-sentence-encoder, InferSent, bert etc.) Что является SOTA?
RB
sentence-bert можно посмотреть еще
АН
возьми просто ft или elmo по каждому токену и усредни
SP
Михаил
Привет всем. Какой sentence embedder для русского языка лучше использовать, чтобы потом искать близкие предложения? (e.g. universal-sentence-encoder, InferSent, bert etc.) Что является SOTA?
Для русского все сложно. По идее SOTA это rubert от deep Pavlov но в Продакшн эта SOTA не умеет. Есть вариант который предложили выше Elmo от rusvectores
D(
Михаил
Привет всем. Какой sentence embedder для русского языка лучше использовать, чтобы потом искать близкие предложения? (e.g. universal-sentence-encoder, InferSent, bert etc.) Что является SOTA?
Если нужно именно sentence level, то у меня мультиязычные Laser и USE давали результат лучше, чем русскоязычный BERT
CT
плюсую за мультиязычный use
э
Михаил
Привет всем. Какой sentence embedder для русского языка лучше использовать, чтобы потом искать близкие предложения? (e.g. universal-sentence-encoder, InferSent, bert etc.) Что является SOTA?
мне вот эти нравятся
https://tfhub.dev/google/universal-sentence-encoder-multilingual/3
https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3
https://tfhub.dev/google/universal-sentence-encoder-multilingual-qa/3
сравнивал на своих задачках с rubert-ами, плюс-минус то же самое, но сильно проще
https://tfhub.dev/google/universal-sentence-encoder-multilingual/3
https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3
https://tfhub.dev/google/universal-sentence-encoder-multilingual-qa/3
сравнивал на своих задачках с rubert-ами, плюс-минус то же самое, но сильно проще
D
Всем привет
Есть ли какие-нибудь способы для автоматического создания словарей из текста для дальнейшего его использования в том же Yargy или только вручную и готовые словари?
Есть ли какие-нибудь способы для автоматического создания словарей из текста для дальнейшего его использования в том же Yargy или только вручную и готовые словари?
М
@cointegrated, спасибо посмотрю Laser и USE. Они давали результаты лучше именно чем RuBERT или чем все BERT based модели (Sentence RuBERT, Sentence Multilingual BERT)? И было ли их сравнение с Elmo и для этой задачи?
А особенно меня интересует сравнение с universal-sentence-encoder-multilingual и InferSent (если есть его варианты для русского).
А особенно меня интересует сравнение с universal-sentence-encoder-multilingual и InferSent (если есть его варианты для русского).