NK
судя по той статье которой мы с тобой друг друга тычем, там таки 1 hot
Size: a a a
2016 September 05
NK
YB
CBOW, да, один из вариантов алгоритма. output layer — это v[x]
YB
input layer — это прошлый v[z] где z — соседние слова с x
NK
skip gram тоже самое
NK
и в сырцах w2v вроде тоже 1hot. хотя там ламерский куриный академический код, его крайне трудно разобрать
NK
потому я и пытаюсь выяснить, так это или нет
YB
вот этот второй слой с one-hot — это метафора для словаря
YB
который левый на картинках
NK
почему он второй? он же первый, входной?
YB
правый слой — нейросеть, левый — словарь
YB
я же говорил, что нейросеть из одного слоя
NK
из одного не бывает :)
YB
ок. левая стрелочка — вытаскивание из словаря.
YB
правая — умножение / обучение нейросети
NK
да. и там 1hot преобразование? цифра в длинный набор нулевых весов и 1 единичку превращается?
YB
ты не можешь выразить вытаскивание из словаря через 1hot?
NK
могу. я спрашиваю, там оно или нет?
YB
V[x] <--> V * onehot(x)