Спасибо большое

Ребят, поскадите чат по математике пожалуйста

Привет,
В торче и ТФ у батчнормы есть параметр моментум.
На основе какой статьи или материала он используется в разных имплементациях ?

У меня батч норм = 1 (так ограничен алгоритм в данном виде),
я нашел эту статью: https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123570222.pdf

которая говорит в целом о проблематичности батча размером в 1 в контексте батч нормы, и предлагает MBN,
Momentum Batch Norm, задумался, а не то ли это, что есть в торче, тф и т.д ?

Что еще можете сказать полезного про сетку с батчнормами и батчем размером в 1 ?

в статье даже пишется что это "open problem".

например, в торче.

В данной конвенции, правильно ли я понимаю, что при батче в 1, логичнее попробовать  уменьшить моментум, чтобы история влияла больше а каждый noisy sample с его noisy variance меньше ?

Возьми любую другую нормальзацию?

как вариант. Просто бейслайн для определенных результатов у выше стоящих именно с такой сеткой,
они пока с меньшим энтузиазмом рассматривают вариант смены сетки, но корректировка архитектуры тут в тему да.

Еще им кажется, что валидацию в трейн моде делать норм, что для меня совсем криво, я не прав ?
Или так можно ? То есть с дропаутами и с аккамулцией статистики теста в сетку (то есть небольшое статическое жульничество в моем понимание).

можно но не нужно

Дропаут будет ухудшать результат, бн вроде будет работать чуть лучше. Но чтобы проверить точность лучше иметь фиксированную систему.

ну так в том и тема теста, это то мне понятно. Думаю над самым приемлемым для всех вариантом.

Просто вот у нас архитектура mobilenet v2 допустим, плюс pretrained.
1. имеет смысл вообще брать претрейнд, поменять batchnorm на instancenorm ?
2. забьем на претрейнд, что будет с mobilenet в целом заменив btachnorm  на instancenorm ?

то есть и бейслайн меняется, хз лучше хуже

поэтому думаю может моментумом все исправится

Вроде если перенести параметры bn на in, то замороженные для одного батча они будут работать идентично. Вот если в train режим их поставить на бс 1, то думаю тоже норм будет

такой вариант был озвучен, с заморозкой. Но как раз последнее: 'если в train режим их поставить на бс 1, то думаю тоже норм будет' - не дает результатов.

Натренированная с batch допустим 20, потом на 1 на тренировочном сете дает хорошие результаты, а на валлидации плохие.

на бетче 1 вообще кажется довольно больно тренировать

довольно таки да и по времени, но пока этот вариант приоритетнее (не для меня, но для тех кто решает больше чем я)

Аккумулировать Вам надо, молодой человек.

ну вот акамуляция с одной точки зрения это моментум.
а со второй это как раз:

у меня такая аккумуляция кстати вроде как и работала