I
Transpose более мощный, поэтому решили ставить один, возможно, два лучше. Ablation по этому поводу в статье нет.
помоему вообще-то Linear мощнее любой свертки, так как параметров больше. Свертка это же ограниченный linear.
Size: a a a
2021 March 28
VC
В трансформере линейный делается не для всех пикселей, а для каждого слова отдельно
VC
Поэтому свертка мощнее
VC
Поэтому параметров у свёртки больше, ибо ядро не 1 на 1.
I
В трансформере линейный делается не для всех пикселей, а для каждого слова отдельно
I
I
сравнение слов и пикселей в контексте конвы и линеар и их "мощности" немного не корректны.
VC
Почему, линеар равен свертки 1 на 1
I
Почему, линеар равен свертки 1 на 1
в трансформере свертка 1 на 1 ?
I
в трансформере свертка 1 на 1 ?
я уже писал, что там 4 на 4 свертка.
VC
В трансформере линейный слой, который тоже самое что свёртка 1 на 1
I
тогда суммируем, в модели САГАНа в имплементации нет линеарного слоя после внимания, а есть свертка 4 на 4.
В имеж трансформере есть линеарный слоя после аттешена (в самом атеншене), а в декодер лаере есть лаер аттеншнена и двойной слой линеар.
В обычном аттеншен лаере есть один линеар.
Вот я и начал с этого, вопрос на счет интуитивного понимания трех этих вариантов. "обычный трансформер" это не интуиция, единственное что говорится в статье об этом, в картинке приложенной, но из этого интуитивно мне не очень понятно.
В имеж трансформере есть линеарный слоя после аттешена (в самом атеншене), а в декодер лаере есть лаер аттеншнена и двойной слой линеар.
В обычном аттеншен лаере есть один линеар.
Вот я и начал с этого, вопрос на счет интуитивного понимания трех этих вариантов. "обычный трансформер" это не интуиция, единственное что говорится в статье об этом, в картинке приложенной, но из этого интуитивно мне не очень понятно.
I
тогда суммируем, в модели САГАНа в имплементации нет линеарного слоя после внимания, а есть свертка 4 на 4.
В имеж трансформере есть линеарный слоя после аттешена (в самом атеншене), а в декодер лаере есть лаер аттеншнена и двойной слой линеар.
В обычном аттеншен лаере есть один линеар.
Вот я и начал с этого, вопрос на счет интуитивного понимания трех этих вариантов. "обычный трансформер" это не интуиция, единственное что говорится в статье об этом, в картинке приложенной, но из этого интуитивно мне не очень понятно.
В имеж трансформере есть линеарный слоя после аттешена (в самом атеншене), а в декодер лаере есть лаер аттеншнена и двойной слой линеар.
В обычном аттеншен лаере есть один линеар.
Вот я и начал с этого, вопрос на счет интуитивного понимания трех этих вариантов. "обычный трансформер" это не интуиция, единственное что говорится в статье об этом, в картинке приложенной, но из этого интуитивно мне не очень понятно.
причем в САГАНЕ как я писал, эта свертка не связана с аттеншеном, она и не в его классе, в отличие от других статей, где dense, linear и тд инитиализированны в самом аттеншене.
I
нет в этой имплементации линеар
VC
тогда суммируем, в модели САГАНа в имплементации нет линеарного слоя после внимания, а есть свертка 4 на 4.
В имеж трансформере есть линеарный слоя после аттешена (в самом атеншене), а в декодер лаере есть лаер аттеншнена и двойной слой линеар.
В обычном аттеншен лаере есть один линеар.
Вот я и начал с этого, вопрос на счет интуитивного понимания трех этих вариантов. "обычный трансформер" это не интуиция, единственное что говорится в статье об этом, в картинке приложенной, но из этого интуитивно мне не очень понятно.
В имеж трансформере есть линеарный слоя после аттешена (в самом атеншене), а в декодер лаере есть лаер аттеншнена и двойной слой линеар.
В обычном аттеншен лаере есть один линеар.
Вот я и начал с этого, вопрос на счет интуитивного понимания трех этих вариантов. "обычный трансформер" это не интуиция, единственное что говорится в статье об этом, в картинке приложенной, но из этого интуитивно мне не очень понятно.
Фотка из Сагана как бы. Там должна быть свёртка в self-attention, если не положили в, значит положили после, если не положили после, значит неправильно имплементировали.
В ванильном трансформере, коим саган не является, блок состоит из self-attention + 2 линейных слоя. https://habr.com/ru/post/486358/, приятная понятная статья.
В ванильном трансформере, коим саган не является, блок состоит из self-attention + 2 линейных слоя. https://habr.com/ru/post/486358/, приятная понятная статья.
I
Фотка из Сагана как бы. Там должна быть свёртка в self-attention, если не положили в, значит положили после, если не положили после, значит неправильно имплементировали.
В ванильном трансформере, коим саган не является, блок состоит из self-attention + 2 линейных слоя. https://habr.com/ru/post/486358/, приятная понятная статья.
В ванильном трансформере, коим саган не является, блок состоит из self-attention + 2 линейных слоя. https://habr.com/ru/post/486358/, приятная понятная статья.
ну вот, я с этого и начал, что похоже что двойной ФФ в трансформерах работающих традиционно с словами, а значит с их эмбедингами, вот для работы с эмбедингом мне понтно почему двойной слой ФФ, потому что это репрезентация слова в latent space.
А дальше думать надо нахрена оно в трансформерах для картинок.
А дальше думать надо нахрена оно в трансформерах для картинок.
VC
Слово == пиксель
VC
Тоже должно передавать смысловую информацию и иметь особенности.
I
Слово == пиксель
слово = цифра и ее эмбединг. Аттеншен в любом случае работает обычно на фичермапе, тут уже не пиксель, а условно говоря его эмбединг. Может быть и есть аналогия, надо подумать. Ну то есть чисто грубо говоря похоже.