I
Я бы это посоветовал почитать
я просмотрел, я сами статьи читал, там все более менее понятно, а в овервью этом все равно он не пишет интуицию.
Size: a a a
2021 March 28
VC
ну так и на одном линеар в обычном аттеншене, которым заменили традиционные rnn-lstm.
Не понимаю о чё вы
I
VC
Авторы решили вставить FC в self-attention в SAGAN, в других статьях такого не видел.
I
Авторы решили вставить FC в self-attention в SAGAN, в других статьях такого не видел.
в ImageTransformere и TransGANe также (не смотря в декодер лаер с двойным МЛП).
VC
В них нет conv 1x1
I
есть Linear
I
у меня два варианта осталось, либо аттеншен с одним линеар, либо декодер слой с последующим МЛП. Попробую посмотрим результат.
I
есть Linear
вот к примеру, это из трансгана (после attention_weight*value, в общем один линеар как в САГАНе в других местах, не вру).
VC
вот к примеру, это из трансгана (после attention_weight*value, в общем один линеар как в САГАНе в других местах, не вру).
Да, похоже используют линейный слой, ошибся. Но если после него идёт идёт нелинейности, то используют скорее как проекцию.
I
Да, похоже используют линейный слой, ошибся. Но если после него идёт идёт нелинейности, то используют скорее как проекцию.
проекция в визуальном смысле, это что будет значить ?
I
ну вот сделали мы ки кваери сранвнеие, получили аттеншен вейтс, умножили на валю фичеры, что мы во что проектируем.
I
мне только понятно что фичеры в фичеры.
I
Что за сборка происходит этой трансформацией мне не очень понятно
I
посмотрим что там в nlp было
VC
проекция в визуальном смысле, это что будет значить ?
Ну мы одно распределение превращаем в другое
I
Ну мы одно распределение превращаем в другое
хм..а в статье в которой впервые вводятся эти понятия, статья Attention is All you need, в ней действительно ничего про линеар после не говорится. Я даже нашел аналогию к предыдщуим моделям аттеншена в нлп, и оттуда тоже выглядит, что линеар там нет.
VC
Видимо для зрения добавили. Надо бы найти ablation по этому поводу
I
