оптимальной нет. самое смешное, что метод ПИО с математической точки зрения работает наиболее идеально. объяснить не можем :)

Можно еще NAS попробовать.

ПИО - аббр ?
проб и ошибок ))?
ПИО 😂

Оно :)

Попробовал И Офигел ;)

😆

Ок ..

А что есть NAS?

Neural Architecture Search

Спасибо, почитаю на досуге

Вы, кстати, уверены, что полностью знаете, как работает батч норм? Я полгода назад выяснил, что я неправильно его понимал на самом деле. Если PyTorch, то надо понимать, как на батч норм влияют: affine True or False, track_running_stats True or False, .train() и .eval() режимы. А также как работает momentum=None и momentum=0.9 (или любая другая ненулевая константа).

Вообще, в Вашей задаче самое главное это добиться эквивалентности обучения с батчем 1, и, например 20, только для .train() режима. А сделать это непросто, если это ещё не написали до вас

И через momentum аргумент у батч норма это не решить - градиенты по статистикам учитываться не будут

ну я примерно на том же остановился, посмотрел его форвард, увидел что статистики оказывается собираются в нем, а не в бэкварде (мне как то второе было более интуитивно), но пока что пробую избежать вообще тренировки в batchsize=1 mode.  

На самом деле оно и не должно работать с батчом в размер 1, даже возможно с аккамуляцией (у меня там возможно улучшало за счет другой технической фишки, которая скорее баг, чем закономерность).  

Но возможно и не придется, пока рано сказать. До старших дошло, что лучше повозиться с тем, как увеличить батч в том алгоритме.

не очень понимаю, почему в трейн моде работало.

У вас ограничение по памяти, или принципиальное, в лоссе/модели?

но да надо его от А до Я изучить

в модели, там в статье тоже сигнл батч, и достаточно тоже не тривиально будет ли работать в мульти батче.

У Вас pytorch?

да