I
B=1, K=20 у меня например
Size: a a a
2021 May 25
I
типо 20 раз форввард а потом 20 logits в лосс и step
I
это похоже тоже дает видимый норм результат
VC
И bs == 20 в итоге с некоторыми условиями в нормализации.
I
то есть предлагаете чуть чуть переписать батч норм, модифицировать под аккамуляция с условием да ?
VC
Так бс вы так не перепишете, чтобы в нем было аккумуляция. Но можете моментум увеличить, видимо это правильное решение.
VC
Аккумуляция для backprop + более длинный моментум (второе не думаю, что сильно улучшит результат)
I
вот первое с акамулицией лоджитов и потом backward step значительно помогают.
А почему думаете второе не сильно ?
А почему думаете второе не сильно ?
I
если вы конечно о такой аккамуляции.
I
то есть допустим если батч 20 это один форвард, то аккамуляицонный форвард выглдяит как цикл из 20 форвардов по 1 и потом step
I
я это имел ввиду, что помогло.
VC
Разница отсутствует
I
кстати, на счет смены нормализации, разве batchnorm который делает нормализацию относительно измерения channels с batch_size=1 это не одно и то же что instancenorm ?
I
чем отличается, не очень понимаю ?
I
along (H,W) for each channel (InstanceNorm) или Because the Batch Normalization is done over the C dimension, computing statistics on (N, H, W) slices, it’s common terminology to call this Spatial Batch Normalization. (BatchNorm Pytorch)
I
да это в тему было по ходу:
I
ок, спасибо за mind storming, если у кого будут еще интересные мысли, буду благодарен
2021 May 26
kk
Ребят, а как правильно выбрать нейронную сеть или модель машинного обучения под задачу ? Есть какаято методология ?
DK
Google. Sota. Trial & error.