gpu занят, не могу руками ща проверить )

Слушайте, а что за solstarter подьехал? Их прям что-то овер-много в группе этой?
Кто-нить из админов в курсе?

Судя по всему, solstarter это блокчейн какой-то

Сейчас расстреляем каждого :)

Или я все же ошибаюсь, и закрепление Сида будет означать ровно это?

Бекпропни нужный лосс первым, умножь градиенты на 0.1, бекпропни все остальное

в том то и дело, что голубой и синий не разделены как два лосса, а это один лосс, просто в экспериментах было видно, что при выключение градиентов в голубом пути, есть эффект на результат, поэтому вместо полного выключения я хочу уменьшить магнитуду.

а при чем тут разделение?

посчитай первым лосс который дает голубой путь

умножь на нем градиенты на 1/10

потом все остальное (если есть)

если голубой путь больше ни от чего не зависит можно просто лернинг рейт на нем уменьшить в 10 раз

и больше ничего не менять

У тебя есть возможность управлять градиентами абсолютно произвольным образом. Перед каждым бекпропом сохраняй значения градиентов, после бекпропа вычисляй разницу между состояниями - получишь градиенты для текущего бекпропа. Дальше делай с ними что хочешь, можешь пересчитать как хочешь градиенты)

разделение на голубой и на синий условное (и на зеленый). am loss получается в результате голубого, синего и зеленого как одного (то есть в результате двух форвардов а не одного).
В этом одном надо уменьшить магнитуду только на голубом. Суть am loss-a во влияние на самую верхнюю часть картинки (градиенты текут через "второй" инпут").
То есть для "посчитай первым лосс который дает голубой путь; умножь на нем градиенты на 1/10" нужно разделить голубой от остального, например детачом.
Потом второй вопрос что синего в отдельности нет, есть по сути "голубой" и "синий&голубой" (один путь), и нужно только голубой в 10 раз уменьшить.
"если голубой путь больше ни от чего не зависит" - голубой нет, но как я написал, синий зависит от голубого.

в этом прикол, что am_loss.backward() есть один, придется переписывать backward() у слоев. Но это по-моему возможное решение.
Просто пока я думаю есть проще манипуляции.

Я не понял зачем что то разделять, почему нельзя после бекварда пройтись по весам и сделать w.grad*=0.1

потому что модель одна, получу все градиенты разделенные на 10, в том числе и в верхнем пути.

am_loss получен в результате двойного форварда на той же сетке.

Ты издеваешься?