с моментумом тоже пару экспериментов сделал, оно конечно повлияло, но не сказать что полностью исправило.

но в этом как бы несколько решений, в конце концов и нормализацию заменить и т.д.
Посмотрим, это если не получится в муьтибатч сделать, буду дальше думать

https://github.com/ptrblck/pytorch_misc/blob/master/batch_norm_manual.py
Тут хорошо показано, как отличаются train eval режимы

о это хороший материал, в торч коде я просто вышел на С код, его менее приятно читать. Гляну спасибо

это он тождественный по функциональности свой слой написал ?

Суть в том, что можно сделать несколько forward прогонов с батчем 1, накопить среднюю статистику по 20 батчам, а потом по очереди сделать 20 раз forward + backward.

Да. Там ниже показано, что оно не расходится с торчевой имплементацией. И этот пример довольно трудно найти, поэтому и поделился. Я тоже когда-то упёрся в сишный код

ну вот у меня это в определенном режиме работало, я просто перепроверяю и начал сомневаться, что из-за правильных причин.

А почему 20 раз по очереди форвард-бэк, а не достаточно одного бэка ?
если это коротко, не очень понял логику.

а вообще у меня вопрос исходит из привычки думать что в бэке статистики обновляются, а они в форварде уже обновляются.
Ладно, повожусь позже, спасибо за ссылку. Может избежать удастся.

Можно и 1 раз, если лоссы сложить (или усреднить, зависит)

Я, как и вы, вкладываю личный bias сюда уже, потому что batch 1 встречается обычно при интересных лосс функциях

Можно считать, что я их акамулировал, так как собирал лоджиты, конкатил, и потом в BCE, loss.backward и step, то есть получалось что 20 раз собираю (в самом форварда циклом в размер батча допустим 20) и один раз градиенты с шагом.

Так не будет работать, как с батчем 20)

Ну если отдельно лоссы посчитать поштучно и сложить, это разве не одно и тоже?

Ну только если с точки зрения БН возможно.

Не одно и то же

Привет, скажите, пж это же по идее не так сложно?
Апи дает сколько страниц (6588) можно спарсить,
парсит оно 10 часов с апи, а так за пол часа по идее, а что если имеея значение 6588, развернуть столько серверов, например, через кубер + докер, как идея?

{'type': 'conversation.list',
'pages': {'type': 'pages',
 'next': 'https://site.com/conversations?per_page=50&page=3201',
 'page': 3200,
 'per_page': 50,
 'total_pages': 6588},
'total_count': 329392,

Всех данных от силу 1,5 гб

Добрый день! У меня нн предиктит такие изображения. Если внимательно посмотреть, то там есть линии(сам предикт). Мне нужно как-то усилить разницу между цветами. Какими способами можно это сделать? Во время создания датасета использовал рескейл.

Можно в opencv предобработку попробовать делать

Добрый день всем,
Может имеется у кого данная книжка?
Image Processing Masterclass with Python,
Буду благодарен за рекомендацию книг конкретно по PyTorch с упором на CNN и классификации изображениий, изучил уже вот эту
Deep Learning with PyTorch