Типичный js разработчик

Это шутка. Сейчас в моде мем "я календарь переверну и снова третье сентября" и различные вариации на эту тему))

😂

Тогда гамма должна быть меньше 1.0 )

В Shufutinsky decision process это необязательно)

В петле бесконечный валью иначе накрутится

что-то еще никто не пошутил про upside down rl )))

😂

Полезна ли теория игр при работе\ресерче в рл?

Теория игр немного про другое. RL решает разные задачи оптимального управления, а теория игр изучает взаимодействие игроков в заданной среде (равновесия разного рода и их характеристики). Есть, правда, эволюционная теория игр, которая изучает то, как игроки играют в бесконечные игры (типа дилеммы заключённого бесконечное число раз подряд) и занимается вопросами сходимости стратегий со временем при разных предположениях (например, что будет, если Q-Learning против Q-Learning будет играть в дилемму заключённого?). Большая теория и много разделов, всего не опишешь кратко.

В общем, могу сказать, что местами можно встретить какие-то намёки на теорию игр или техники оттуда, но не то чтобы сильно часто. В основном, в теоретических работах.

Если интересен вариант "для саморазвития", горячо рекомендую изучить, очень захватывающая вещь) Если нет, то ответ во многом зависит от того, что планируете исследовать.

Кстати, поделитесь, может, у кого-то другой опыт)

Спасибо за обширный комментарий.

А вот Differential games theory это буквально теория непрерывного управления с двумя агентами

ну да, если интересен именно MARL (мульти-агент) - то с теорией игр стоит ознакомится

Расскажите, плиз, зачем в популярных статьях про игры (в особенности ATARI) авторы стараются впихнуть стохастичность даже в детерминированные игры?

что ты имеешь ввиду? state space exploration?

Не обязательно. Но вот, например, в SIMPLE они делают специальную маску для входного кадра, чтобы добавить стохастичности (верхняя часть модели). не очень понятно для чего. только потому что там VAE?

Иначе модель может просто запомнить для каждого кадра, какое действие в нём нужно сделать без понимания, что вообще происходит. То есть, найдёт, например, 100 пикселей на картинке и будет считать их значения хешом, а дальше выучит маппинг хеш → действие. И вроде работает, но на самом деле это результат брутфорса и оверфит под конкретную среду, никакого  понимания среды внутри агента не происходит

подскажите, это что за статья?