AM
В Тиньке хотят применять РЛ, кое-какие наработки уже есть. Если надо, могу сконтачить с нужными людьми
Size: a a a
2020 January 18
SK
В Тиньке хотят применять РЛ, кое-какие наработки уже есть. Если надо, могу сконтачить с нужными людьми
любопытно,
а можно подробнее?)
а можно подробнее?)
SK
2020 January 20
NK
Да, видели, спасибо! Следим за твиттером Хассабиса: https://twitter.com/demishassabis/status/1217512436548325378?s=21
AG
Коллеги, а есть ли кто-то, запускающий в качестве бейзлайна ванильный PPO на MuJoCo? Возникла проблема, чтобы воспроизвести, например, такие результаты на PPO с помощью baselines.
IB
Коллеги, а есть ли кто-то, запускающий в качестве бейзлайна ванильный PPO на MuJoCo? Возникла проблема, чтобы воспроизвести, например, такие результаты на PPO с помощью baselines.
AG
Гляну, спасибо!
2020 January 22
АЯ
запускаю rllib с observation_space Discrete(21), внутри он one-hot препроцессится. Обучается намного лучше, чем если obs_space, Box(0, 21, shape=(1,)). Но во втором случае размерность меньше, и obs_space идейно можно считать упорядоченным, поэтому его представление в виде одного числа уместно. С чем это может быть связано?
АЯ
после нормализации, оба случая стали идентичны)
P
Подскажите, пожалуйста, а была ли статья про использование Double Q-learning оценки для continuous control?
AG
В TD3 же две сети используют как раз для этого. Или это не про то?
P
Там min(Q1, Q2)
Хочется нормальных резов для Q1(argmax(Q2)), не могу их найти
Хочется нормальных резов для Q1(argmax(Q2)), не могу их найти
P
Нашел резы для double оценки в TD3 ablation табличке, спасибо
2020 January 23
SK
гайз, а какие нынче best practices для off-policy evaluation?
<ну, не сразу же катить, you know>
<ну, не сразу же катить, you know>
2020 January 24
P
Про best practices не могу сказать. Из последнего, я бы глянул сюда
P
Переслано от Pavel Shvechikov
Gendice: Generalized Offline Estimation Of Stationary Values
"Our approach is based on estimating a ratio that corrects for the discrepancy between the stationary and empirical distributions, derived from fundamental properties of the stationary distribution, and exploiting constraint reformulations based on variational divergence minimization"
"Our approach is based on estimating a ratio that corrects for the discrepancy between the stationary and empirical distributions, derived from fundamental properties of the stationary distribution, and exploiting constraint reformulations based on variational divergence minimization"
2020 January 25
SI
Где-то читал или видел, такой трюк, при обучении CNN на больших датасетах берут два примера из разных классов (скажем собаку и кошку), линейно их интерполируют (a+b)/2 и для полученного изображения лепят two-hot метку (0, 0.5, 0, 0, 0.5). Добавление таких примеров в выборку эмпирически помогает
SI
Не напомните название статьи или же тег?