NK
причём там, где уже было что-то похожее на глаза с т.з. нейросети
Насколько я понимаю, не обязательно. Можно начать даже с шума, и все равно в конце концов появятся глаза :)
Size: a a a
2017 May 25
NK
хотя насколько это сложно сделать на практике, я не знаю
YB
ID:347198853
Насколько я понимаю, не обязательно. Можно начать даже с шума, и все равно в конце концов появятся глаза :)
да. какая-то точка будет больше других похожа на часть глаза и будет иметь больший градиент, чем другие точки (даже если отрицательный)
в следующий раз после fprop+bprop она будет наверняка иметь ещё больший градиент
в следующий раз после fprop+bprop она будет наверняка иметь ещё больший градиент
NK
NK
они говорят что шум должен быть не полностью случайным, а статистически похожим на натуральный image
NK
да. какая-то точка будет больше других похожа на часть глаза и будет иметь больший градиент, чем другие точки (даже если отрицательный)
в следующий раз после fprop+bprop она будет наверняка иметь ещё больший градиент
в следующий раз после fprop+bprop она будет наверняка иметь ещё больший градиент
не совсем понимаю что ты имеешь в виду под "в следующий раз после fprop+bprop она будет наверняка иметь ещё больший градиент"
YT
Ну мы же обучим картинку, следовательно та часть которая была похожа на глаз, станет еще больше похожа на глаз
YT
видимо так
NK
но чем больше картинка похожа на глаз, тем меньше ее нужно менять, а следовательно, тем меньше градиент
NK
разве не так?
YB
в смысле если fprop и так даёт (0 0 ... 0 0.99 0 ... 0 0 ) ?
NK
да
YB
да, если bprop не имеет exploding gradients , то да.
NK
градиент будет больше только если картинку нужно менять сильно, и мы используем моментум
YB
т.е. если где-то есть уже глаз, то всё, изменения закончатся.
а иначе могут "вырасти" несколько глаз одновременно.
а иначе могут "вырасти" несколько глаз одновременно.
NK
ну да, либо "exploding chain"
YB
ID:347198853
градиент будет больше только если картинку нужно менять сильно, и мы используем моментум
от слоёв нейросети зависит. если ReLU -- то никогда не будет при стандартном learning rate порядка 0.001 даже при momentum = 0.99 , ибо (1+0.99+0.99*2+... ) * 0.001 = 0.1 .
YB
т.е. если где-то есть уже глаз, то всё, изменения закончатся.
а иначе могут "вырасти" несколько глаз одновременно.
а иначе могут "вырасти" несколько глаз одновременно.
а ещё можно этого избежать -- если поставить (0 0 .... 2 0 ... 0) на выходе
NK
вообще-то про моментум я не прав был, там увеличивается update, а не gradient