NK
Тогда наверное стоит на английской вики удалить неправильную часть с формулой частной производной софтмакса? https://en.wikipedia.org/wiki/Softmax_function
там пример есть, напиши формулу как имея выходной слой получить входной. из примера
Size: a a a
2017 March 01
NK
ответ: никак
FZ
ID:183006445
как у меня слой с суммой весов 1 превратится в слой с суммой неизвестно?
правильно ли я понимаю, что в вашем понимании backprop-алгоритм на слое где-то в середине за один шаг сразу может сделает так, чтобы ошибка убиралась полностью или, что сумма выходов какого-то промежуточного слоя обязательно должна быть произвольной?
EZ
ID:183006445
как у меня слой с суммой весов 1 превратится в слой с суммой неизвестно?
Хм, а как мы тогда пулинг дифференциируем по такой логике
NK
суть бэкпропа в том что функция по которой колдовали над весами - дифференцируема. то есть можно в обратную сторону колдовать
FZ
дифференциируемая не значит обратимая. Софтмакс - дифференциируемая. И плюнь в лицо тому, кто утверждает обратное.
NK
я плюну, когда по формуле смогу пример из вики решить
NK
как из [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175] получить [1,2,3,4,1,2,3]
FZ
если это выход, то с помощью софтмакса никак. Если надо, чтобы на выходе такое было, то добавь еще слой без активации (с линейной активацией), и получай хоть какие значения (кроме бесконечностей). Заметь, софтмакс (в конце, посередине или еще где) никак не мешает прохождению ошибки. Ясен пень, если нужны неограниченные значение на выходе софтмакс туда только идиот поставит.
EZ
ID:183006445
как из [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175] получить [1,2,3,4,1,2,3]
Ты точно понимаешь разницу между градиентом/производной и обратной функцией?
A
ID:183006445
а только разными извращениями, типа кросэнтропии?
Набор слов какой-то. Начни с простого - https://www.quora.com/Is-the-softmax-loss-the-same-as-the-cross-entropy-loss
A
Одного другого не заменяет и не противопоставляется, и тем более не является взаимная энтропия каким-то извращением.
A
Взаимная энтропия в задаче классификации равна логистической функции потерь. Очевидно, что логистическая функция потерь имеет производную, причем эта функция дважды дифференцируемая - есть еще и вторая производная. Я даже постил когда-то пошаговый вывод (п.6): http://biostat-r.blogspot.com/2016/08/xgboost.html
2017 March 02
NK
2017 March 09
NK
NK
NK
прикольный бот у них
NK
NK