Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 July 27

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
Тем временем, у меня с этим видом свертки batchnorm2d даёт 1 для weights и 0 для bias 0_0 для не pretrained сети. И при этом взрыв forward pass через nan. Хотя mean увеличивается и std увеличивается. Соответственно, вывод  что batchnorm просто отказывается работать и шлёт меня на 3 буквы. Пробовал track_running_stats=False (вдруг там какой-то баг с eval). Все равно 1 0. Как это вообще фиксить?
1 это что?
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
1 - это вес батчнорма, 0 - это bias
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
1 - это вес батчнорма, 0 - это bias
А в чем проблема
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Может у тебя affine=false?
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Надо трекать стд и среднее ж а не афинные параметры
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Evgenii Zheltonozhskii🇮🇱
Может у тебя affine=false?
affine=True
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ну ок, но все равно почему тебя аффинные параметры волнуют, тут проблема скорее с std
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Evgenii Zheltonozhskii🇮🇱
Надо трекать стд и среднее ж а не афинные параметры
Да прикол в том, что если аффинные параметры 0 и 1, то явно он ничего делать не хочет.
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
Да прикол в том, что если аффинные параметры 0 и 1, то явно он ничего делать не хочет.
Мб распределение фич сильно разное между бетчами?
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
Тем временем, у меня с этим видом свертки batchnorm2d даёт 1 для weights и 0 для bias 0_0 для не pretrained сети. И при этом взрыв forward pass через nan. Хотя mean увеличивается и std увеличивается. Соответственно, вывод  что batchnorm просто отказывается работать и шлёт меня на 3 буквы. Пробовал track_running_stats=False (вдруг там какой-то баг с eval). Все равно 1 0. Как это вообще фиксить?
Погоди а с track тоже расходится?
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Evgenii Zheltonozhskii🇮🇱
Погоди а с track тоже расходится?
Не понял вопроса. Я не использую hook. Вывожу простым принтом. Прикол в том, что я не могу сделать даже один проход, на каком-то layer он просто взрывается. При этом видно, что нарастание происходит с самого первого слоя.
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
Не понял вопроса. Я не использую hook. Вывожу простым принтом. Прикол в том, что я не могу сделать даже один проход, на каком-то layer он просто взрывается. При этом видно, что нарастание происходит с самого первого слоя.
Если выключить track_running_stats все равно наны?
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Вообще, в официальной репе это обещали фиксить дельтами в std, чтобы не было умножения на 0. И даже есть такие вот issue: https://github.com/joe-siyuan-qiao/WeightStandardization/issues/1.
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Evgenii Zheltonozhskii🇮🇱
Если выключить track_running_stats все равно наны?
+
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А пример вывода можно?
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Такой же
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
Такой же
Ну ты понимаешь что если ты делишь бетч на стд бетча должен быть стд 1?
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Evgenii Zheltonozhskii🇮🇱
Ну ты понимаешь что если ты делишь бетч на стд бетча должен быть стд 1?
Угу
источник

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
И проблема значит, что batchnorm2d не работает, если мы используем эту свёртку.
источник