I
В целом чисто технически вот эта штука у меня сработала:
https://towardsdatascience.com/building-your-own-self-attention-gans-e8c9b9fe8e51
Я не силен в это механизме, и если кто может, можно на пальцах рассказать кратко какие параметры можно усложнить или по экспериментировать, из тех что есть в этой модели ?
Или может парочку статей на этот счет, будьте любезны.
К примеру в конволюционной сетке такими параметрами являются глубина сетки (количество слоев), размерности скрытых слоев, размер персептивного поля и т.д.
А в механизме внимания ?






