KS
Могу ли я их выучить по ходу обучения сетки?
Size: a a a
2017 May 30
KS
Хотя, может быть я несу ерунду, поскольку это похоже на регуляризацию, а ее не учат
A
Ту регуляризацию, которая происходит при батч-нормализации - учат:)
A
У которых есть коэффициенты
Их значения наверное поиском по сетке только можно подобрать
EZ
Могу ли я их выучить по ходу обучения сетки?
а какую ты ей цель поставишь?
EZ
Могу ли я их выучить по ходу обучения сетки?
можно искать грид/рэндом search или чем-то по умнее
V
Могу ли я их выучить по ходу обучения сетки?
Взять градиент по ним, казалось бы, ничего не мешает. Вопрос только в том, насколько это осмысленно
A
Градиент будет равен самой величине штрафа, а то, что штраф нужно уменьшать в ходе обучения, мы и так знаем
A
Кроме того, сразу возникает тривиальное решение - все коэффициенты при слагаемых в штрафе занулить и получить loss = 0
KS
а какую ты ей цель поставишь?
Multi-task, multi-output regression
FZ
смешивать нормированные лосы с весами максимизирующими конечный лосс (sum w_i = 1, w_i>=0)) - самое очевидное, которое не предусматривает тривиального решения.
FZ
можно и обучать эти веса (минимизировать -final_loss), но смысла в этом не много
IU
Подскажите по caffe. Сделал fine tuning для модели на своём наборе, accuracy 70%, однако при классификации тестового набора он для каждого класса даёт 0.3.
IU
Причем для каждого файла одно и тоже.
EZ
Кто нибудь мерял производительность тензорфлоу с шлангом в качестве компилятора куды?
KS
Кто нибудь мерял производительность тензорфлоу с шлангом в качестве компилятора куды?
шланг?
KS
Подскажите по caffe. Сделал fine tuning для модели на своём наборе, accuracy 70%, однако при классификации тестового набора он для каждого класса даёт 0.3.
плохо затюнил
IU
Но для 70 не должно постоянно 0.3 выдавать, для трёх классов это все равно что расставить всем одинаково без всякой работы
KS
Но для 70 не должно постоянно 0.3 выдавать, для трёх классов это все равно что расставить всем одинаково без всякой работы
Вот именно. ты ничего не выучил