Пройдись только по весам на которых надо изменить

Если я правильно понимаю, у вас есть 3 вида лосс функций, первый, как я понимаю, это обычный CrossEntropyLoss, второй - это Angular Margin Softmax Loss, третий - что-то еще. Если все так - то можно сделать просто:

predictions = model(inputs)
blue_loss = cross_entropy_loss(inputs, targets)
cyan_loss = am_softmax_loss(inputs, targets)
total_loss = blue_loss + cyan_loss * 0.1
total_loss.backward()

И на них измени

А на тех на которых не надо менять не меняй

они все одинаковые, в графе градиентов они дублируются ))

с помощью .view

они не разные )) забавный алгоритм )

Ну не делай так)

Продублируй явно веса

близко, два вида, один кросс энтропи а второй который как бы состоит из двух факторов, которые как раз если бы можно было легко разделить, то было бы удобно сделать один + другой на 0.1.

Умножь один из факторов на 0.1.

ну вот либо с переписью функции backward с каким нибудь if то град разделить на 10 else как обычно.
Либо иначе, этот фактор проявляется только на части бэкпэса через am loss, он не явный.

либо через явную дубляцию и копирование сетки и т.д. чего пока избегаю

Давай по-порядку тогда - выход am loss используется где-либо, кроме как в .backward()?

Забавно, то на "Вы" обращаюсь, то на "ты"...

am loss из этой статьи без модификаций?
https://arxiv.org/abs/1801.05599

нет. Но am_loss, его граф градиентов, это и голубой и синий (который проходит там же где зеленый).
А надо градиенты только на голубом в 10 раз умножить. А еще это одни и те же параметры, поэтому .grad/10 двойное влияние даст.
Просто в точре юзеру не дали интерфейс и более того сам граф градиентов не создали как отдельный объект с интерфейсом для BFS, DFS например,
по мне это не самый эффективный способ создать пару .grad и BackFunc(). В таких манипуляциях, которую я хочу сделать немного безтолковая реализация.

не, Guided-Attention-Infference-Network

Ладно, в проблему сложно вникнуть сразу, не читая статьи. По идее, torch.autograd.Function может решить практически все кейсы с кастомным беквардом.