Телеграмм чат группы natural_language_processing страница 601

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Natural Language Processing

1408 membersпожаловаться на группу

2020 February 23

IM

Ivan Menshikh in Natural Language Processing

Еще буду рад если разъясните мне один момент про negative sampling и иерархический софтмакс. Как я понял negative sampling точно используется и в изначальной сишной реализации и в gensim. А иерархический софтмакс и там, и там используется?

и там и там, просто параметризуешь модель нужным режимом

источник

18:36пожаловаться #1

NO

Nikita O in Natural Language Processing

источник

18:36пожаловаться #2

NO

Nikita O in Natural Language Processing

и там и там, просто параметризуешь модель нужным режимом

Что значит параметризуешь режимом? Это можно как-то настраивать в параметрах перед обучением?

источник

18:37пожаловаться #3

IM

Ivan Menshikh in Natural Language Processing

Что значит параметризуешь режимом? Это можно как-то настраивать в параметрах перед обучением?

да, перед обучением ты указываешь, что ты хочешь использовать (негатив семплинг или софтмакс)

источник

18:38пожаловаться #4

NO

Nikita O in Natural Language Processing

А так это выбор строго или одно или другое? Оба нельзя?

источник

18:39пожаловаться #5

IM

Ivan Menshikh in Natural Language Processing

https://radimrehurek.com/gensim/models/word2vec.html параметр hs. Строго одно или другое, тут оба и не нужны, они же взаимоисключающие

gensim: topic modelling for humans

Efficient topic modelling in Python

источник

18:39пожаловаться #6

NO

Nikita O in Natural Language Processing

Спасибо, понял.

источник

18:40пожаловаться #7

NO

Nikita O in Natural Language Processing

Значит в изначальном сишном коде иерархического софтмакса не было или там оба способа были реализованы?

источник

18:41пожаловаться #8

IM

Ivan Menshikh in Natural Language Processing

Значит в изначальном сишном коде иерархического софтмакса не было или там оба способа были реализованы?

нет, ещё раз, оба способа есть в обоих реализациях

источник

18:42пожаловаться #9

IM

Ivan Menshikh in Natural Language Processing

https://github.com/tmikolov/word2vec/blob/master/word2vec.c#L700 - ровно такая же ручка в оригинальном w2v

tmikolov/word2vec

Automatically exported from code.google.com/p/word2vec - tmikolov/word2vec

источник

18:44пожаловаться #10

NO

Nikita O in Natural Language Processing

Понятно. Просто у Миколова есть две (?) изначальных статьи по v2w, вышедшие с разницей в месяц и я пытаюсь понять какое они имеют отношение одна к другой и к сишной реализации и к gensim. https://arxiv.org/pdf/1301.3781.pdf https://arxiv.org/pdf/1310.4546.pdf

источник

18:45пожаловаться #11

IM

Ivan Menshikh in Natural Language Processing

Понятно. Просто у Миколова есть две (?) изначальных статьи по v2w, вышедшие с разницей в месяц и я пытаюсь понять какое они имеют отношение одна к другой и к сишной реализации и к gensim. https://arxiv.org/pdf/1301.3781.pdf https://arxiv.org/pdf/1310.4546.pdf

всё, что есть в этих статьях, реализовано как в миколовском варианте, так и в gensim

источник

18:47пожаловаться #12

NO

Nikita O in Natural Language Processing

Как в фасттексте используются подслова? Скиньте ссылочку на статью или видос где это подробно объясняется.

источник

22:56пожаловаться #13

YB

Yuri Baburov in Natural Language Processing

Как в фасттексте используются подслова? Скиньте ссылочку на статью или видос где это подробно объясняется.

примерно так:
r = emb[w]
n = 1
for s in subwords(w):
r += emb[s]
n += 1
return r / n

источник

23:55пожаловаться #14

NO

Nikita O in Natural Language Processing

emb is undefined

источник

23:56пожаловаться #15

YB

Yuri Baburov in Natural Language Processing

emb is undefined

emb — матрица эмбеддингов.

источник

23:57пожаловаться #16

NO

Nikita O in Natural Language Processing

Если серьезно, то меня интересует более подродное объяснение. Например как это все обучается, как берутся подслова и т.д.

источник

23:57пожаловаться #17

YB

Yuri Baburov in Natural Language Processing

Если серьезно, то меня интересует более подродное объяснение. Например как это все обучается, как берутся подслова и т.д.

ну, погугли, материалов много есть по каждому твоему конкретному вопросу

источник

23:58пожаловаться #18

2020 February 24

NO

Nikita O in Natural Language Processing

Это круто, что по моему вопросу уже есть ответ в интернете. Ты же хорошо в НЛП разбираешься, так может подскажешь мне конкретную ссылке, а то что-то нагуглить не получается.

источник

00:06пожаловаться #19

YB

Yuri Baburov in Natural Language Processing

Это круто, что по моему вопросу уже есть ответ в интернете. Ты же хорошо в НЛП разбираешься, так может подскажешь мне конкретную ссылке, а то что-то нагуглить не получается.

"subwords fasttext", третья сссылка: https://stackoverflow.com/a/49827568/217895

Fasttext algorithm use only word and subword? or sentences too?

I read the paper and googled as well if there is any good example of the learning method(or more likely learning procedure)

For word2vec, suppose there is corpus sentence
I go to school with lu...

источник

00:07пожаловаться #20