FZ
но, разумеется, если трактовать активацию как слой, то сколько вошло, столько и вышло.
Size: a a a
2017 March 01
NK
любая размерность входа, любая выхода.
как это в формулу подставить? по формуле строго один к одному размерность должна быть
FZ
I have a x (входной слой). I have an y (выход). y_preact=Wx, y =f(y_preact) (любой размерности).
NK
I have a x (входной слой). I have an y (выход). y_preact=Wx, y =f(y_preact) (любой размерности).
щито?
FZ
Активация размерность не меняет. Она меняется матрицей весов.
FZ
и активацию за слой не считают, т.к. не учится.
NK
бр... так её вообще не учат?
FZ
Как ты слой активации обучишь? Что там варьировать будешь? Он тупо участвует в "переделке" обратно распространяемой ошибки.
NK
что такое слой активации?
NK
слой это слой. активация это активация - функция между слоями, которая колдует с весами
NK
софтмакс не может участвовать в бэкпропе по определению, поскольку недифференцируем
FZ
Ээээ, почему не дифференцируем?
NK
по формуле
NK
и чиста по логике
NK
как у меня слой с суммой весов 1 превратится в слой с суммой неизвестно?
FZ
Т.е. частную производную по какому-то элементу не взять?
FZ
Знаменателя в нуле нет, всюду гладкая к тому же, а дифференциал не берется?
NK
Т.е. частную производную по какому-то элементу не взять?
я не знаю, взять или не взять, для бэкпропа нужна производная функция и всё
NK
а у софтмакса её нет
FZ
Тогда наверное стоит на английской вики удалить неправильную часть с формулой частной производной софтмакса? https://en.wikipedia.org/wiki/Softmax_function