YB
в смысле, кроме embedding?
Size: a a a
2016 September 05
NK
так эмбеддинг это тоже 1hot? или нет?
NK
мне чтобы слой поуже был :)
NK
если у меня словарь на 20 тыщ единиц, у меня входной слой будет на 20 тыщ весов. хочется этого избежать
YB
ID:183006445
так эмбеддинг это тоже 1hot? или нет?
нет.
NK
нет.
а что там вводится тогда?
YB
embedding это замена x на V[x], где размерность V может быть любая. на практике порядка от 150-500 обычно.
YB
x — это id слова, V — массив из векторов для каждого x
NK
а откуда выигрыш по плотности берётся?
YB
ID:183006445
а откуда выигрыш по плотности берётся?
потому что V — это не one-hot вектора, а "сжатые" вектора
NK
я могу 64 битовое число записать "вектором" из 8 байт. только в чём смысл?
YB
методику построения таких векторов — см. word2vec, glove, итп
NK
методику построения таких векторов — см. word2vec, glove, итп
я посмотрел, как я понял, там 1hot
YB
нет, там не 1hot
NK
а где это подробно объясняется?
NK
What is a word vector?
At one level, it’s simply a vector of weights. In a simple 1-of-N (or ‘one-hot’) encoding every element in the vector is associated with a word in the vocabulary. The encoding of a given word is simply the vector in which the corresponding element is set to one, and all other elements are zero.
At one level, it’s simply a vector of weights. In a simple 1-of-N (or ‘one-hot’) encoding every element in the vector is associated with a word in the vocabulary. The encoding of a given word is simply the vector in which the corresponding element is set to one, and all other elements are zero.
NK
NK
вот тут написано, что 1hot
NK
и по сырцам также выходит, насколько я сишные кракозябры разобрал