GC
С холмами даже в чем то лучше, так как есть методы, которые как бы добавляют "инерцию" шарику, чтоб он мог перескочить локальный минимум и все такое
Size: a a a
2018 June 16
V🇺
потом конечно рассмотрю по ближе, что бы лучше понимать, как избегать оверфиттинга.
оверфиттинг - скорее свойство модели, а не метода оптимизации, не?
AB
оверфиттинг - скорее свойство модели, а не метода оптимизации, не?
AB
оверфиттинг на сколько мне объяснили происходит из за того, что в процессе обучения градиент уходит не в тот минимум =)
AB
но я только начал изучать недавно это дело
V🇺
оверфиттинг на сколько мне объяснили происходит из за того, что в процессе обучения градиент уходит не в тот минимум =)
Сомнительное утверждение, имхо - это как минимум только одна из возможностей
AB
так что может не так понял человека, объяснявшего мне =)
g
AB
V🇺
если модель достаточно мощная чтобы просто запомнить ответы на все training examples - это тоже overfitting, например
AB
если модель достаточно мощная чтобы просто запомнить ответы на все training examples - это тоже overfitting, например
угу, тоже знаю про это.
V🇺
все так)
AB
угу, я просто проорал =)
AB
на столько жиза
AB
сижу на работе, меняю алгоримы, количество&размерности слоёв, функции активации/потерь/оптимизации и размерность батча... После чего пялюсь на грифик =)
AB
и пока что это происходит на 95% рандомно и 5% предположений =)
V🇺
самое обидное - когда рандомное работает лучше чем по предположениям
AB
я пока что не совсем понимаю, от чего всё это дело пляшет =)
AB
базис из книги принял к сведению, но вот не более пока что
EZ
и пока что это происходит на 95% рандомно и 5% предположений =)
значит можно заменить тебя на random search