Size: a a a

ML Boot Camp Official

2020 November 08

SancheZz Мов in ML Boot Camp Official
Еврибади
источник

d

dePuff in ML Boot Camp Official
Он про модель в которую дистил
источник

SancheZz Мов in ML Boot Camp Official
А
источник

SF

Sergei Fironov in ML Boot Camp Official
ну он отчасти роляет, то есть первый токен учитывается и т.д.
источник

d

dePuff in ML Boot Camp Official
SancheZz Мов
Дык берт за тебя делает контекст
С берта можно очень разно взять пулинг )
источник

SancheZz Мов in ML Boot Camp Official
Sergei Fironov
так а зачем, почему не просто Flat -> dense ?
Флет стейтов?)
источник

SancheZz Мов in ML Boot Camp Official
dePuff
С берта можно очень разно взять пулинг )
Я беру маск
источник

SF

Sergei Fironov in ML Boot Camp Official
SancheZz Мов
Флет стейтов?)
флет эмбедингов
источник

SancheZz Мов in ML Boot Camp Official
Sergei Fironov
флет эмбедингов
Флет эмбеддингов стейта?
источник

SF

Sergei Fironov in ML Boot Camp Official
э...
источник

SancheZz Мов in ML Boot Camp Official
Это seq len на  768?
источник

d

dePuff in ML Boot Camp Official
SancheZz Мов
Я беру маск
CLS выкидываешь?
источник

SF

Sergei Fironov in ML Boot Camp Official
я потерял нить )
источник

SancheZz Мов in ML Boot Camp Official
dePuff
CLS выкидываешь?
Он слабоконтекстный
источник

SancheZz Мов in ML Boot Camp Official
Нах он мне
источник

SancheZz Мов in ML Boot Camp Official
Я с ним пробовал и без
источник

d

dePuff in ML Boot Camp Official
Ну можно взять пулинг, забыв выкинуть
источник

SancheZz Мов in ML Boot Camp Official
Без всегда лучше
источник

SancheZz Мов in ML Boot Camp Official
dePuff
Ну можно взять пулинг, забыв выкинуть
Эт да
источник

d

dePuff in ML Boot Camp Official
Можно макс + аверэдж, что тоже накидывает
источник