(Q Kᵀ)/√d = Q(Kᵀ/√d) и так как keys это функция обучаемых параметров К(θ), то идея в том, что оптимальные параметры во время тренировки будут подобраны так, что К′ = (Kᵀ/√d), если делениe на √d happens to decrease the loss, i.e. is indeed useful

Непонятно, indeed useful или нет большой необходимости все же ?

Вообще они эту нормализацию же не в простом атеншине делают, а в мультихед, может там получается так, что ключи чтоб не пытались скейлится много раз одновременно, легче им это заложить в формулу 🤷‍♂

хз насчет возможностей. Навряд ли в беларуси и в украине столько же вакансий как в москве и в питере

Я говорю, что даже если 1/√d is indeed useful (уменьшает стандартное отклонение и т.п.) в нём нет необходимости. Пруф скетч примерно следующий:

Допустим, по результату тренировки модели с (Q Kᵀ)/√d она обучилась к параметрам θ′. То так как К(θ) это (линейная) функция параметров, то существуют параметры θ″, для которых справедливо Q K(θ″)ᵀ = Q K(θ′)ᵀ/√d

Поэтому если бы ты просто обучался бы без деления на √d, то обучился бы к θ″ и получил бы эквивалентую модель, но избежал бы деления на √d, которая стоит О(dn)

Просто в России все на хх. А в BY/UA хх вообще не популярен 😊 трафик идёт из телеграм, линкедин, доууа, девбай

Ну насколько я понимаю в НН если ты можешь как-то облегчить жизнь нейронке и что-то подсказать, ей становится легче нет? Например стандартный скейлинг фич в CV по сути это тоже линейное преобразование, но его все равно делают же, хотя по идее она и сама может этому научится. Насчет O(dn) - это же не так в векторных исчислениях и наверное не так дорого уж выходит

В целом да. Но то, что ты ей "подсказываешь" ей действитльно что-то полезное в данном случае остаётся открытым вопросом

​​450 бесплатных онлайн курсов от университетов Лиги Плюща

Лига плюща — это ассоциация восьми старейших университетов США, которые считаются самыми престижными высшими учебными заведениями во всем мире. В список входит: Браунский, Гарвардский, Корнельский, Принстонский, Дартмутский, Йельский и Колумбийский университеты, а также Пенсильванский университет. Все восемь университетов входят в пятнадцать лучших национальных университетских рейтингов США News, World Report и занимают первые места в мировых рейтингах как QS, Times Higher Education.

Университеты Лиги плюща также очень избирательны и чрезвычайно трудны для поступления. Но хорошая новость заключается в том, что все эти университеты теперь предлагают бесплатные онлайн-курсы на нескольких платформах.
На сегодняшний день они создали более 500 курсов, из которых около 450 все еще активны.

Желающие могут обучаться по следующим категориям:
• Информатика
• Наука о данных
• Программирование
• Гуманитарные науки
• Бизнес
• Искусство и дизайн
• Наука
• Социальные науки
• Здоровье и медицина
• Машиностроение
• Математика
• Образование и преподавание
• и другие курсы для личностного развития

Эта коллекция обновляется автоматически по мере добавления новых курсов.

Ссылка

в этом и есть смысла fpga

я слышал фпга токо для высоко част трейдинга испльзуют - микр скальпинг

kage no bunshin no jutsu

Есть ли здесь люди, которые работают\стажируются в FAANG(GAFA) саентистом?

могу связать, половина моих classmates там работают, именно data scientist

здесь сидят люди с FAANG, но кажется они все программисты не дата