A
почему трансформеры круты как архитектура
Size: a a a
2021 February 09
A
потому что они считай добавляют диффиренцируемый case selector
A
и это прям прорыв ящитаю
P
почему трансформеры круты как архитектура
Вот на этом момент началось нипонятна, реплайну как дойду
A
то есть все пишут что ИИ это просто миллиард if else, но ты видишь, что это не так - это просто перемножение матриц
P
Фига форма интересная, оно вообще диффиренцируемое?
A
а там появляется attention - возможность придавать больше веса одним данным, и занижать другим, на основе третьих данных, что вполне похоже на case
A
Фига форма интересная, оно вообще диффиренцируемое?
а это x*sigmoid(x)
A
лол
P
а это x*sigmoid(x)
Эээээээ
P
Ээээ
A
A
то есть прикинь
A
кажется настолько очевидным, почему это круто и полезно
A
но доперли-то только недавно
A
и то небось методом тыка
P
и то небось методом тыка
Вот это кстати да))
A
а потом подвели под это научную работу)