YB
дальше начала-то ты прочитал? как раз one-hot encoding и сравнивается с word vectors
Size: a a a
2016 September 05
YB
https://adriancolyer.files.wordpress.com/2016/04/word2vec-distributed-representation.png?w=600 для кого картинка? разве там единичка и нолики?
NK
блин, точно, не дочитал
NK
но всё равно странно
NK
а чем тогда это от обычной бинарной записи отличается
YB
ок, вот тебе задача: закодировать 1М слов 100-мерными векторами так, чтобы
а) разным словам соответствовали разные вектора
б) рядом были слова, близкие друг к другу по смыслу
а) разным словам соответствовали разные вектора
б) рядом были слова, близкие друг к другу по смыслу
YB
бинарная запись решает (а) но не (б)
NK
да, это понятно
NK
а если у меня принципиально никакого "близкого смысла" нет?
YB
а свойство (б) хорошо тем, что линейно отделять разные свойства тебе будет потом проще.
например, свойство "часть речи".
например, свойство "часть речи".
YB
или "положительность" значения слова
YB
если "близкого смысла", синтаксических или семантических свойств не надо, то можно учить embedding и ещё более точно решать твою задачу
YB
просто сколько тебе связей нейронов нужно будет после 1го слоя, чтобы твои полезные свойства выучить?
из бинарного разбиения на 1 млн элементов и 1000 свойств — те же 1 млрд, не?
из бинарного разбиения на 1 млн элементов и 1000 свойств — те же 1 млрд, не?
YB
а вот если embedding какие-то свойства сгруппирует, то меньше
YB
по сути, embedding — это и есть 1-hot представление + преобразование, только развёрнутое в другую сторону и хранящееся не в параметрах нейросети, а в отдельном месте.
YB
именно потому, что нейросеть оно сильно утяжелит.
NK
так на пальцах примерно понятно о чём речь, но хочется конкретики, может где-то это на примерах объясняется?
YB
в паре научных работ неплохо объясняется
NK
дай ссылку
YB
так найти сначала надо, ищу