Я буду тюнить модель, а warmup загоняет модель в узкий локальный минимум, мне надо остаться в широком минимуме (это даёт большой lr)

Не могу ничего лучше придумать чем твой вариант

Видимо, я пока так делать и буду. Можно как-то подменить переменные у оптимизатора, чтобы он менял что-то другое, но потом надо еще вернуть то, что было. В общем, надеялся, есть какое-то решение на поверхности, которое я проглядел

Ты про то, что ты можешь сохранять веса оптимизатора и потом загружать их также как и сети?

Не, я про то, чтобы подменить parameters в parameter_groups у оптимизатора так, чтобы он обновлял параметры, не касающиеся модели. Тогда градиенты всегда будут считаться по оригинальной модели. А потом вернуть parameters обратно

Это надо будет сделать только вначале и в конце подбора скользящих у оптимизатора, а не на каждом шаге

accumulate gradients?

Просто, если тебе не надо менять состояние сети, а просто копить градиенты, то это вроде самое адекватное решение.

Делаешь backwards, а step не делаешь

Считать градиенты, добавлять их в свой буфер уже с running mean/

без step у оптимизатора не будут параметры обновляться

да, можно так. Правда, это не сохранит логику оптимизатора, но примерно будет выполняться

Можно без оптимизатора, тебе, как я понимаю, нужен running mean, который просто ema от градиента. Только я, если честно, не понимаю, зачем running mean, если градиенты сети не изменяются.

Всем привет, кто-нибудь встречал источники с примерами реализации алгоритма аукцион ? Если, да, то поделитесь инфой пожалуйста, спасибо!

Как модель может застрять в узком минимуме если у тебя большой лр после вормапа

Народ, всем привет!
Сейчас вожусь с набором данных и есть один нюанс. Есть много замеров давления на разные даты, по разным объектам. Задача такая: нужно чтобы для каждого объекта дата начиналась с 1го числа ближайшего месяца (03.01.2019=01.01.2019,,, 27.12.2018=01.01.2019), после этого может получиться , что есть много замеров на одну дату, поэтому нужно взять среднее давление по объекту на конкретную дату.
Подскажите как это можно реализовать, особенно что касается переключения дат

Работаете в направлении Машинного обучения и хотите развиваться дальше?

Специально для вас девять практикующих экспертов приготовили онлайн-курс «Machine Learning. Advanced». Познакомиться с курсом можно будет уже 15 февраля на демо-занятии «Multi-armed bandits для оптимизации AB тестирования».

Вместе с Андреем Канашовым, Data Scientist в OMD OM GROUP, вы разберете один из самых простых, но эффективных вариантов применения обучения с подкреплением. Вы узнаете, как можно переформулировать задачу АБ тестирования в задачу байесовского вывода и получать результаты по тестам раньше, чем при классическом тестировании.

Используйте демо-занятие, чтобы освоить новые навыки, познакомиться с преподавателем и оценить сложность курса. Пройдите вступительный тест, чтобы зарегистрироваться на урок https://otus.pw/O3E1/

Через библиотеку datetime попробуй

В Pandas для работы с временными рядами есть много полезных встроенных методов. Вроде .resample() должен помочь конкретно с этим

Большое спасибо!