RA
Рахмет за ссылку. И кажется логично, что embedding layer подключается для инита.
Size: a a a
2020 June 04
I
Почему рандомно? Веса инициализируются же известными методами Ксавье или Кайминь по умолчанию.
RA
То есть bias самплится откуда-то ? Код - это хорошо видеть, но в целом картина
RA
какое распределение ?
I
Bias можно инициализировать консатной вроде, если без изысков
RA
Откуда люди знают значения и отлично ли оно самое от модели к модели
RA
Почему рандомно? Веса инициализируются же известными методами Ксавье или Кайминь по умолчанию.
Ксавье ж это слуайно выбранное из норм распределения нет?
RA
Сходства и различия
RA
из равномернго
RA
То есть все начальные константы либо из равномерного или из нормального
RA
Ксавье из равномерного
RA
init_weights = uniformly distributed bias + embedding
I
Rauan Akylzhanov
То есть все начальные константы либо из равномерного или из нормального
Да, почти всегда так инициализируют биас
RA
Если я возьму времена на pre-trainigs, t1 t2 t3
RA
ti-tj = 1e+n ?
RA
n = ?
RA
Разный номер для разной модели
RA
Да, почти всегда так инициализируют биас
Спасибо
TA
TA
Но она для CV.) было бы прикольно попробовать для NLP Transformers.