SZ
но мне нужен русский
Size: a a a
2020 May 27
SZ
и отсюда вопрос, что лучше всего работает с русским языком для этого)
E
в Multilingual BERT есть русский
E
и вот на сайте Русвекторс есть ELMo
SZ
о, и он умеет считать близость слов, верно?
E
нет, сам BERT умеет только переводить слова в вектора
E
а вы уже расстояние между векторами можете посчитать с помощью Numpy например
D(
полагаю, что в моем случае будет лучше работать контекстуальная
На моих замерах русскоязычный fasttext работал лучше, чем rubert.
И удивительно даже, что не только на моих, но и на некоторых диппавловских 🤔
И он точно быстрее)
fasttext'ы на сайте rusvectores в стандартном формате библиотеки gensim, который отлично задокументирован.
Так что я бы с FT начал, а берт, элмо и прочие толстые нейронки уже потом докручивал бы.
И удивительно даже, что не только на моих, но и на некоторых диппавловских 🤔
И он точно быстрее)
fasttext'ы на сайте rusvectores в стандартном формате библиотеки gensim, который отлично задокументирован.
Так что я бы с FT начал, а берт, элмо и прочие толстые нейронки уже потом докручивал бы.
E
BERT возвращает вектор фразы целиком, а отдельные слова, там надо заморочиться, если нужны именно слова, то ELMo удобнее
SZ
ага, спасибо большое
SZ
На моих замерах русскоязычный fasttext работал лучше, чем rubert.
И удивительно даже, что не только на моих, но и на некоторых диппавловских 🤔
И он точно быстрее)
fasttext'ы на сайте rusvectores в стандартном формате библиотеки gensim, который отлично задокументирован.
Так что я бы с FT начал, а берт, элмо и прочие толстые нейронки уже потом докручивал бы.
И удивительно даже, что не только на моих, но и на некоторых диппавловских 🤔
И он точно быстрее)
fasttext'ы на сайте rusvectores в стандартном формате библиотеки gensim, который отлично задокументирован.
Так что я бы с FT начал, а берт, элмо и прочие толстые нейронки уже потом докручивал бы.
а можно чуть побольше об этом?
SZ
На моих замерах русскоязычный fasttext работал лучше, чем rubert.
И удивительно даже, что не только на моих, но и на некоторых диппавловских 🤔
И он точно быстрее)
fasttext'ы на сайте rusvectores в стандартном формате библиотеки gensim, который отлично задокументирован.
Так что я бы с FT начал, а берт, элмо и прочие толстые нейронки уже потом докручивал бы.
И удивительно даже, что не только на моих, но и на некоторых диппавловских 🤔
И он точно быстрее)
fasttext'ы на сайте rusvectores в стандартном формате библиотеки gensim, который отлично задокументирован.
Так что я бы с FT начал, а берт, элмо и прочие толстые нейронки уже потом докручивал бы.
и да, буду пробовать, спасибо!
SZ
BERT возвращает вектор фразы целиком, а отдельные слова, там надо заморочиться, если нужны именно слова, то ELMo удобнее
учту, спасиб
E
вот тут как раз начинаются вопросы :)
у меня есть задача: найти к слову условные 20 наиболее близких, и просчитать близость к этим 20 из списка своих
у меня есть задача: найти к слову условные 20 наиболее близких, и просчитать близость к этим 20 из списка своих
для такой задачи нет смысла заморачиваться с берт, можно взять фасттекст, загрузить его через Gensim и там есть уже встроенная фунция посчитать близость
SZ
для такой задачи нет смысла заморачиваться с берт, можно взять фасттекст, загрузить его через Gensim и там есть уже встроенная фунция посчитать близость
супер, спасибо. то, что надо было выяснить
D(
SZ
А ещё я недавно научился сжимать модели fasttext до пары десятков мегабайт, если вдруг это кому-то зачем-то нужно 🙃
Это твоя статья на хабре была?)
D(
Это твоя статья на хабре была?)
угу