VC
Вам не нравится fc для пикселей, потому что в первом слое мы шлём значения пикселя, а не его эмбединг?
Size: a a a
2021 March 28
I
Вам не нравится fc для пикселей, потому что в первом слое мы шлём значения пикселя, а не его эмбединг?
не ну в моей имплементации, и в том же САГАНе с обычным аттеншеном, не трансформером, аттеншен работает на фичермапе.
I
А фичер мап это условно говоря эмбединг пикселей.
I
так что тут все норм в сравнение.
I
я по большему счету пока согласен с таким видением.
VC
Можно как ViT слать эмбединг патча 16 на 16, если вам угодно, можно и после пиксельного слоя поставить линейный и магически получить этот эмбединг, только зачем?
I
Можно как ViT слать эмбединг патча 16 на 16, если вам угодно, можно и после пиксельного слоя поставить линейный и магически получить этот эмбединг, только зачем?
ну так конв это тот же эмбединг, только "ограниченный" линеар, тут у меня возражений как раз нету.
VC
ну так конв это тот же эмбединг, только "ограниченный" линеар, тут у меня возражений как раз нету.
Это вообще не понял
VC
Фух, похоже мы с вами ни к чему не придём
I
nn.Embedding это почти одно и тоже что nn.Linear на число, которое выбрано для слова в словаре.
I
Фух, похоже мы с вами ни к чему не придём
не, я как раз вывод уже сделал, та имплементация где нет линеар просто промах. Остается тогда два варианта, чисто аттеншен, или декодер с двойным млп как в траснформере.
I
но зачем в трансформере например двойной млп, если аттеншен то был для слов и до этого, и без двойного млп как то работали, вот тут надо сравнить обычный аттеншен и трансформер еще раз.
VC
не, я как раз вывод уже сделал, та имплементация где нет линеар просто промах. Остается тогда два варианта, чисто аттеншен, или декодер с двойным млп как в траснформере.
Да, self-attention как механизм очень неплох. Для свёрток часто используется ECA всякий.
I
Можно как ViT слать эмбединг патча 16 на 16, если вам угодно, можно и после пиксельного слоя поставить линейный и магически получить этот эмбединг, только зачем?
я в ViT тоже пока не понял зачем там эмбединг для патчей.
I
то есть там на выходе классификатор,в ванильном ViT, но есть еще статья где TransGan, надо еще раз в ней посмотреть как генерация.
VC
но зачем в трансформере например двойной млп, если аттеншен то был для слов и до этого, и без двойного млп как то работали, вот тут надо сравнить обычный аттеншен и трансформер еще раз.
Двойной млп, потому что сеть на них думает.
VC
я в ViT тоже пока не понял зачем там эмбединг для патчей.
Для уменьшения размерности
VC
Фотка из Сагана как бы. Там должна быть свёртка в self-attention, если не положили в, значит положили после, если не положили после, значит неправильно имплементировали.
В ванильном трансформере, коим саган не является, блок состоит из self-attention + 2 линейных слоя. https://habr.com/ru/post/486358/, приятная понятная статья.
В ванильном трансформере, коим саган не является, блок состоит из self-attention + 2 линейных слоя. https://habr.com/ru/post/486358/, приятная понятная статья.
Я бы это посоветовал почитать
I
Двойной млп, потому что сеть на них думает.
ну так и на одном линеар в обычном аттеншене, которым заменили традиционные rnn-lstm.