а я вот задумался, по идеи если там детач, то торчу и нет причины держать в памяти никакие данные связанные с исчислениями того тензора, который детачится, по идеи верно ?
Наверное надо как следует про профайлить память.

Пока торч не дойдет до detach - он не будет знать о том, что вам эта часть графа не нужна в backward, и до того момента он будет копить градиенты. И пока у вас есть хоть одна ссылка на не-detach-нутую переменную - он не освободит эту память

Точно, наоборот от того что сказал, require_grad же Тру

Хотя я как бы смотрел с позиции бэкпеса (обратное направление) , то есть имел ввиду "будущие исчисления", но так более внятно.

Здравствуйте ребят, если вы построите несколько моделей по какому показателю определите лучшую модель? AUC, F1 score? Gini Index...?

Это зависит от того, что эти модели должны делать

Метрики типа accuracy, precision, recall, F1 все делают предположение, что порог отсечения зафиксирован. Но это предположение для многих практических применений неок - во-первых, порог может меняться в зависимости от внешних обстоятельств, во-вторых, порогов вообще может быть несколько.
В ситуации с тем же кредитом, например, можно при <10% вероятности невозврата сразу давать кредит, при >20% отказывать, а при вероятности 10-20% - проводить дополнительную проверку.

Roc auc должен хорошо себя показать тут (однако замечу, что я не занимался задачей кредитного скоринга)

Я занимался, подтверждаю)
Все банки именно этой метрикой пользуются.
А если вы посчитаете ROCAUC * 2 - 1 и назовёте это Джини, то точно за своего сойдёт)

А почему бы сразу не использовать ошибку матожидания по "столько потеряли на не вернувших, и столько получили с вернувших"?

М, ну да
А если делать метрику, знающую, как она будет влиять на экономическую систему - то это уже оверкилл для быстрого прототипирования моделек

я знаю, что в выходные были вопросы про собеседование в ML