NK
y = F(x)
loss = y - labels
grads = dloss/dw
loss = y - labels
grads = dloss/dw
Size: a a a
2017 May 23
NK
здесь х это input data, w это параметры
NK
то есть w этo variables
NK
эти градиенты показывают как нужно изменить параметры (w) чтобы уменьшить loss
YT
Я понял! Спасибо, большое, а то голову ломал. По сути в результате будет вектор градиентов loss по переменным variables. ( dloss/dw1, dloss/dw2, . . . dloss/dwN )
NK
да
2017 May 25
YT
Ребят, а есть какие-нибудь статьи про то по какому алгоритму работает Deep Dream? А то статей разных много, но сам алгоритм не написан, в основном только результаты.
YT
Я просто не очень пойму, при deep dream используется вся сеть или только один нейрон, чей фильтр нужен для визуализации
NK
основная идея в том, что мы постепенно меняем input image to increase the activation of a particular output neuron
NK
эту идею можно использовать также для того чтобы усилить активации для промежуточных features
YB
Turchin берём картинку, делаем fprop, фиксируем выход нейросети (000...00100...00), делаем bprop и начинаем прибавлять результат bprop к картинке, потом повторять цикл -- и так скажем 100 раз.
YT
Т.е. мы по сути обучаем помимо слоев сети и саму картинку? Или я не так понял
NK
только картинку
NK
сеть уже обучена
YT
Точно, начинаю догонять, спасибо
NK
тут главное понять на что реагируют нейроны в сети
NK
то есть если есть нейрон который активируется на глаза в input'е, то можно менять любую картинку так чтобы усиливать активацию этого нейрона
NK
в результате в картинке будут постепенно появлятся "глаза"
YB
ID:347198853
в результате в картинке будут постепенно появлятся "глаза"
причём там, где уже было что-то похожее на глаза с т.з. нейросети