Всем привет!
Обучаю нейронную сеть и получаю такую картину лоса. Если ставлю меньший lr - то получаю то же самое, но в 3 знаке после запятой.
Как настроить lr, оптимизатор и шедуллер в такой ситуации?
Сейчас использую торч и новоград как оптимизатор. Пробовал полиномиальный и косинусный шеделлер.

Ребят, кто нибудь в курсе, как отловить варнинги tf, типа

2021-10-04 14:31:23.117741: W tensorflow/core/framework/op_kernel.cc:1692] OP_REQUIRES failed at conv_grad_input_ops.cc:294 : Resource exhausted: OOM when allocating tensor wi
th shape[128,64,2,2] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc

???

В большинстве сеток сейчас стоит перед линейным слоем глобальный пулинг, который всегда усредняет до размерности channels, 1, 1.

Если же его убрать и заменить линейный слой на эквивалентный сверточный (либо же сделать транспоз размерностей), то для картинки бОльшего размера на выходе будет хитмепа. Погугли старые нейросетевые методы детекции.

Может кто объяснить для чего дата саентисту принципиально нужно хорошее знание алгоритмов?

датасатанисты так или иначе программисты, т.е. всё что нужно программистам, нужно и в дс

Ну, задачу выкапывания ямки под цветочек в огороде можно сделать с помощью лопаткт, экскаватора, атомной бомбы... ну можно копать атомной бомбой, конечно, но как бы - вопрос зачем, а будет ли это быстрее сделать или быстрее работать и т.п.

В общем виде и мне понятно, а вот просто интересно, для чего знание алгоритмов, когда, по-идее, бОльшая часть задач связана с анализом данных, визуализацией, подгонкой под модель и их тренингом

Оптимальность, скоросиь, фичемайнг и проч

Опционально, что придумаешь. Больше знаешь, легче думать, как минимум

Могу в лс написать с парой вопросов?

Да

зачем боксеру бегать на тренировках

Данные зачастую нужно готовить и обрабатывать а для этого бывает нужно знать всякие алгоритмы

как минимум сложность нужна бывает, и нередко. всякие трюки и хаки вторичны, хоть и математика тоже

1) что бы не изобретать велосипед
Алгоритмическая составляющая есть как на этапе автоматизации анализа так и на этапе обработке данных.
2) Иногда проще выучить язык на котором говорят чем конкретные методы применения этого языка.
Основные алгоритмы создают некий язык в контексте которого люди решают свои задачи
порой вам будет понятен алгоритм но не понятно почему именно этот взяли и можно ли его улучшить …
3)Кроме того это порой просто интересно.
Так же не факт что вы всю жизнь будите работать только в машинном обучении.)

Классно что вы пытаетесь понять зачем )
Поэтому почитайте про мотивацию, возможно вам будет интересно:
https://m.habr.com/ru/company/lamoda/blog/504134/

Удачи.

Спасибо за ответ. А касательно использование картинок разных размеров в одном дата сете?

Проблема только в составлении батча - в тензоре размер всех элементов должен быть фиксированным.

в моём случае это не проблема так как:
1)У меня есть группы снимков одинаковых размеров.
2)Поскольку я не уменьшаю их размерность в мою видеопамять помещается не более пары элементов.

Снимки разного размера можно сворачивать

Техник для этого достаточно много