AY
Интересно!👍
Size: a a a
2021 April 20
kk
Ребят, объясните мне пожалуйста, а зачем во все тутриалы RL добавляют графику ? Почему нельзя смотреть на эксперимент в консоли ?
kk
В черном окне
A
(во-первых, это красиво)
MM
На то и туториал, чтобы было понятно что пытаемся обучить. Если говорить о возможности мониторинга результатов обучения, то в тех же туториалах также и графики рисуют (как в рамках python инструментов, так и в tensorboard)
AY
Подскажите красивые библиотеки визуализации RL
2021 April 21
Gꙮ
А что вы хотите визуализировать?
AY
процесс обучения, например активацию нейронов
AY
просто покидайте что-нибудь для визуализации, я пока сам не знаю чего конкретно ищу
SA
AY
да я w&b использую для таких графиков
AY
скучно че-то
DS
Пробовал ли кто-то решать задачи по типу gym FetchPickAndPlace-v1 (захвата и переноса предметов в симуляции) чистым PPO? Мне кажется, что такая задача вообще не особо решается без hierarchical experience replay или behaviour cloning. Или тут можно наинженирить реворд, чтобы работало?
2021 April 22
kk
Ребят, а многорукие бандиты это RL ?
DK
обычно говорят, что они частный случай
RB
Есть хорошая картинка, объясняющая разницу
АС
Обычно бандиты и правда считаются частью RL'я, но я не убеждён, что в таком включении много смысла. Разве кто-либо использует методы полноценного RL'я (DQN, например) для бандитов?
c
Скорее мечтают сделать наоборот)
AM
Всё вписывается, нет? Action - выбор ручки, State - состояние автомата с конкретно выбранной ручкой, Reward - следствие состояния.
Да, вырожденный случай: (1) reward после каждого действия (2) action легко и однозначно отображается в полученный state, но разве оттого схема ломается? Ну просто environment простой получается.
Да, вырожденный случай: (1) reward после каждого действия (2) action легко и однозначно отображается в полученный state, но разве оттого схема ломается? Ну просто environment простой получается.
RB
Более-менее вписывается, да, поэтому и считают бандитов ближе к RL, чем к supervised, например, имхо.