MC
А какой алгоритм кластеризации ты выбрал?
Size: a a a
2021 June 06
OA
В процессе выбора, но не рассматриваю иерархические. Конкретно сейчас остановил взгляд на mean shift
A
Смотря на чем основан алгоритм кластеризации? Косинусная мера близости?
I
Привет, если вместо выключения и включения, сделать "разделить все параметры на 10", а потом "умножить все параметры на 10" (параметры модели естн), равнозначно ли будет это тому, чтобы "уменьшить в бэкпасе магнитуду градиэнтов в 10 раз" ?
ЕТ
Почитайте про "проклятие размерности". Грубо говоря, чем больше измерений у пространства, тем сложнее разделить в нём точки на кластеры.
П
Нет, модель нелинейная.
I
таки да, функции активизации. Наверное да.
I
подумал чтобы сделать "фейковый" backward, перед ним сохранить градиенты, после него, потом взять разницы (это и есть сколько добавилось (для всех параметров сетки - фор луп parameters().grad_after - parameters().grad_before) разделить разницу на 10, и прибавить, но эта фигня не прокатит с точки зрения autograda похоже.
I
как бы вы предложили сделать данное действие короче всего ?
"уменьшить магнитуду градиентов" в определенной части графа ?
"уменьшить магнитуду градиентов" в определенной части графа ?
I
а может быть вместо loss.backward(1) (1 дефольтное значение) loss.backward(1/10) ?
EZ
Пройдись по градиентам и подели их на 10
EZ
Или определи для них лр в 10 раз меньше
I
там проблема в том, что через одни и те же параметры проходит дважды бэкпес (не я придумал), а мне нужно только в одном из проходов в 10 раз уменьшить магнитуду градиента.
I
а если я один и тот же инпут в сетку дам батчом в 2, я получу РОВНО тот же результат ?
Я вдруг подумал, допустим мне надо model(x)=y дважды сделать, но есть дропауты и рандомность, model((x,x))=(y,y'), где y=y' ?
Я вдруг подумал, допустим мне надо model(x)=y дважды сделать, но есть дропауты и рандомность, model((x,x))=(y,y'), где y=y' ?
I
и мне кажется эта тема сработает, так как chain rule начинается с gradient*D_output/... и если дать gradient 1/10 то будет одна десятая градиентов.
I
я подумал в сумме так, дам ему дважды инпут (заплачу уменьшением батча в два раза), на один из инпутов сделаю детач, его пропущу backward(-9/10).
чере недетачнутый пропущу backward(1), получится что через голубое (где - девять десятых) пройдет 1/10 градиента, а через все остальное, то есть синее пройдет весь градиент, как вам ?
чере недетачнутый пропущу backward(1), получится что через голубое (где - девять десятых) пройдет 1/10 градиента, а через все остальное, то есть синее пройдет весь градиент, как вам ?
I
мне нужен всего лишь POC идеи влияния магнитуды через голубой path, это не деплой если что )))
VB
Рандомность можно исключить из эксперимента зафиксировав сид
I
ну даже с одним сидом y=model(x) и после этого y'=model(x) ведь не гарантирует что y=y' если они один после другого.
I
но вот так должно быть одинаково вроде.