Всем привет! Подскажите, пожалуйста. Вопрос про использование предобученных сетей, заморозку слоев и про обучение только части сети.

В задаче нужно находить точки на изображении. Использую resnet50 предобученную на ImageNet. Заменяю выход последнего слоя с 1000 классов на количество точек*2 (х и у координата)

import torchvision.models as models
...
model = models.resnet50(pretrained=True, )
model.fc = nn.Linear(model.fc.in_features, 2 * NUM_PTS, bias=True)

Для начала хотел попробовать обучить только последний fc слой

# freeze all layers
for param in model.parameters():
param.requires_grad = False

# train only head
model.fc.weight.requires_grad = True
model.fc.bias.requires_grad = True

Я рассчитывал, что обучение у такой сети будет гораздо быстрей, чем когда все слои разморожены. Но на мое удивление скорость осталась практически той же самой на эпоху 20 мин vs 17 минут

Вопрос. Правильно ли я заморозил слои? Разве сеть не должна обучаться быстрей, чем если бы все слои были разморожены?

я понимаю что forward остался прежним, но backward то должен был стать короче, меньше градиентов считать следовательно общее время на эпоху должно было бы сократиться

Спасибо!
на всякий случай скину еще оптимизатор, но там напутать сложно
optim.Adam([p for p in model.parameters() if p.requires_grad], lr=args.learning_rate, amsgrad=True)

я понимаю что forward остался прежним, но backward то должен был стать короче, меньше градиентов считать следовательно общее время на эпоху должно было бы сократиться

Была идея, которая пока не подтвердилась на практике. Взяв предобученную сеть и заменив у нее последний слой, чтобы не гонять ошибку сразу по всей сети, я думал постепенно размораживать слои. Подучил первый слой, он теперь не создает такую огромную ошибку, потом разморозил второй, подучил их оба и т.д. но результаты такого обучения получились хуже чем когда просто учил всю сеть сразу целиком. Может просто совпадение и нужно больше опытов провести

Была идея, которая пока не подтвердилась на практике. Взяв предобученную сеть и заменив у нее последний слой, чтобы не гонять ошибку сразу по всей сети, я думал постепенно размораживать слои. Подучил первый слой, он теперь не создает такую огромную ошибку, потом разморозил второй, подучил их оба и т.д. но результаты такого обучения получились хуже чем когда просто учил всю сеть сразу целиком. Может просто совпадение и нужно больше опытов провести

Была идея, которая пока не подтвердилась на практике. Взяв предобученную сеть и заменив у нее последний слой, чтобы не гонять ошибку сразу по всей сети, я думал постепенно размораживать слои. Подучил первый слой, он теперь не создает такую огромную ошибку, потом разморозил второй, подучил их оба и т.д. но результаты такого обучения получились хуже чем когда просто учил всю сеть сразу целиком. Может просто совпадение и нужно больше опытов провести

когда настанет время когда я буду понимать вас😂

Я тоже мечтаю о таком дне 😂

всем привет! Вопрос насчет R: как можно убрать scientific notation в rpart?

пробовал менять значение в options(scipen), также пробовал менять значение в digits на отрицательное, но plot все так же показывает числа именно так.

Мой код:
plot(dtree1, uniform=TRUE, main="Classification Tree for Churn")
text(dtree1, use.n=TRUE, all=TRUE, cex=.8)