Size: a a a

ML Boot Camp Official

2020 November 08

d

dePuff in ML Boot Camp Official
Можно не только последний слой пулить
источник

d

dePuff in ML Boot Camp Official
Но не для этой соревки
источник

SancheZz Мов in ML Boot Camp Official
dePuff
Можно не только последний слой пулить
+
источник

SancheZz Мов in ML Boot Camp Official
Можно дистиллить пулинги стейтов
источник

SancheZz Мов in ML Boot Camp Official
Денсами как раз
источник

SancheZz Мов in ML Boot Camp Official
Sergei Fironov
я потерял нить )
Стейты трансформера ака выходы блоков
источник

SancheZz Мов in ML Boot Camp Official
12 блоков энкодера
источник

SancheZz Мов in ML Boot Camp Official
Последний стейт - последний блок
источник

SancheZz Мов in ML Boot Camp Official
Там у нас 768  на размер последовательности
источник

SancheZz Мов in ML Boot Camp Official
Флат если взять то будет их произведение в размерности
источник

SancheZz Мов in ML Boot Camp Official
Или не так ? @Sergeif_239
источник

SancheZz Мов in ML Boot Camp Official
dePuff
Можно макс + аверэдж, что тоже накидывает
Макс ломает эмбеддинги
источник

SancheZz Мов in ML Boot Camp Official
У берта
источник

SancheZz Мов in ML Boot Camp Official
Аверейдж имеет смысл - эмбеддинг сентенса
источник

SancheZz Мов in ML Boot Camp Official
А макс всегда будет ухудшать скор если его в купе с средним юзать
источник

d

dePuff in ML Boot Camp Official
Ты оси не путаешь? Норм max классифицирует
источник

SancheZz Мов in ML Boot Camp Official
Без него лучше
источник

SancheZz Мов in ML Boot Camp Official
dePuff
Ты оси не путаешь? Норм max классифицирует
А ты посмотри
источник

SancheZz Мов in ML Boot Camp Official
Какой макс глобал?
источник

SancheZz Мов in ML Boot Camp Official
Или нет?
источник