Так и обучение с учителем в RL можно вписать
state = картинка
action = логиты классификатора
reward = минус логлосс

Ну, если у тебя ревард выдается каждый ход, нет credit assignment problem, нет зависимости следующих действий от предыдущих, ломающих тебе весь теоретический градиентный спуск из-за отсутствия i.i.d, то в целом... :D

я видел  такие статьи

Вот-вот, а от всей сложности RL'я и не остаётся ничего

Сходу нашлась вот такая статья: https://arxiv.org/pdf/1901.08654.pdf, там PPO + assistive multi armed bandits

минус логлосс - это так по русски

lol

Ну я, конечно, имел в виду категориальное лог-правдоподобие, но решил упростить

Эта задача активно рассматривается в том числе и в рл, так как является важной составляющей более типичной задачи марковского процесса принятия решений (мппр). Можете думать о ней как о вырожденном частном случае мппр. Самое важное отличие - отсутствие состояния.

и времени)

Если кому то интересние узнать о паралелях в исследовании оптимального контроля в США и СССР, рекомендую почитать эту статью
https://www.math.uni-bielefeld.de/documenta/vol-ismp/48_pesch-hans-josef-cold-war.pdf

*оптимального управления

хах, как бы еще избавиться от привычки говорить политика вместо стратегии :)

КГБ бы быстро избавило

l li
ll l_

сап чат, собираю спикеров на Datafest 2021 по
1. Catalyst
2. Reinforcement Learning
кто готов выступить, рассказать интересный кейс, или у кого есть просто прикольная кулстори для комьюнити - welcome
https://forms.gle/taxWCeDPYo2vyzRZ9

А кто-то может прокомментировать, откуда в AlphaZero и MuZero взялись формулы для UCB? На скринах:

(1) Формула из ШАДовского семинара, которая получается из Hoeffding inequality
(2) Формула из AlphaZero
(3) Формула из MuZero

Почему вообще можно учить коэффициент P(s, a) перед UCB? Почему он должен быть пропорционален вероятности действия a? Почему знаменатель не под корнем? Что за +1 в знаменателе? Что за странный коэффициент появился в MuZero?