В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

4833 membersпожаловаться на группу
2021 March 28

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
ну мне кажется conv там потому из-за общих причин почему conv а не linear, а трансопзнутый, потому что мы нойз с маленьким измерением выращиваем в картинку, то есть это по сути декодер для нойза, изучающий distribution фичеров картинки. А декодер это ConvolutionalTransposeNet по сути.
На счет траснформера не понял мысль, зачем там двойной слой MLP?
помимо одного оригинального в САГАНе
источник
03:12пожаловаться#1

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
ну мне кажется conv там потому из-за общих причин почему conv а не linear, а трансопзнутый, потому что мы нойз с маленьким измерением выращиваем в картинку, то есть это по сути декодер для нойза, изучающий distribution фичеров картинки. А декодер это ConvolutionalTransposeNet по сути.
На счет траснформера не понял мысль, зачем там двойной слой MLP?
Transposeconv == inductive bias

Mlp, чтобы нейросеть могла думать, иначе она только attention будет делать.
источник
03:13пожаловаться#2

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
Transposeconv == inductive bias

Mlp, чтобы нейросеть могла думать, иначе она только attention будет делать.
ну а разве одного linear для думания мало, как в САГАНе ?
источник
03:14пожаловаться#3

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
В сагане не один, а несколько, ибо transpose convolution тоже линейный слой
источник
03:14пожаловаться#4

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
В сагане не один, а несколько, ибо transpose convolution тоже линейный слой
ты в счет берешь те же компоненты. В Генераторе без аттеншена тоже конвы, это же к аттеншену никак не имеет отношения.
источник
03:16пожаловаться#5

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
В сагане не один, а несколько, ибо transpose convolution тоже линейный слой
и он ровно один после аттеншена.
источник
03:16пожаловаться#6

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
сравни с кодом TransGAN
источник
03:17пожаловаться#7

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
В сагане не один, а несколько, ибо transpose convolution тоже линейный слой
+ картинка, которую скинул.
источник
03:17пожаловаться#8

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vadim Chashechnikov
Что это если не FC?
вот тут один ФС после операций с key,query, value
источник
03:18пожаловаться#9

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
а декодере ТрансГана потом идет двойной МЛП
источник
03:18пожаловаться#10

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
На картинке только self-attention, в коде после идёт свертка, и после первого внимания тоже идёт свертка.
источник
03:20пожаловаться#11

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
В trans gan обычный трансформер
источник
03:20пожаловаться#12

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
В чем суть дискуссии?, я потерялся
источник
03:21пожаловаться#13

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
где ?
в l4 одна свертка, где ты вторую видишь мне интересно ))
источник
03:21пожаловаться#14

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
в количестве и роли ФФ после аттеншена
источник
03:21пожаловаться#15

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
в l4 одна свертка, где ты вторую видишь мне интересно ))
дальше идет еще один аттеншен и еще одна свертка.
источник
03:22пожаловаться#16

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
вот блок ТрансГана
источник
03:22пожаловаться#17

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник
03:22пожаловаться#18

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
зачем в траснформере MLP после аттеншена с одним linear
источник
03:23пожаловаться#19

VC

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Transpose более мощный, поэтому решили ставить один, возможно, два лучше. Ablation по этому поводу в статье нет.
источник
03:23пожаловаться#20