@stanislav_g ?

А если ещё кто знает происхождение загадочного значения гиперпараметра c2 = 19652 в MuZero, вообще было бы здорово ^_^

Это я тоже пытался выяснить и нашёл пост от Julian Schrittwieser (первый автор MuZero), в котором есть такие отрывки. Не то чтобы они много объясняли, но хоть комментируют, что этот мультипликативный член не очень-то важен

Первые два вопроса (Почему вообще можно учить коэффициент P(s, a) перед UCB? Почему он должен быть пропорционален вероятности действия a?) не очень понятны, P(s, a) — это же стратегия. По вопросу 3 и 4 (Почему знаменатель не под корнем? Что за +1 в знаменателе?), вероятно,  что-то можно прояснить из статьи Rosin, C. D. (2011). Multi-armed bandits with episode context, там излагается алгоритм, вариацией которого является предложенный в AlphaGO Zero (формула 2). Там довольно громоздкие выкладки и нотация не совпадает с общепринятой в RL. Я бы предположил, что +1 нужен на случай, если N(s, a) равен 0, а корень отсутствует, чтобы повысить предпочтение неисследованных действий. Насчет коэффициента MuZero — хз)))

скорее наоборот, чтобы понизить предпочтение неисследованных действий (?)


в классическом UCT пока не исследуешь все в ширину, глубже не пойдешь
А тут можно не все действия проверять

или я не прав насчет P(s, a), я думал, это вероятность в выбрать действие a в состоянии s, нет?

это политика
да, вероятность выбора действия а в s
типа часть исследования дерева вы поручаете не UCT, а собственной политике

хм, а не поясните, в чем отличие множеств, из которых берутся действия a и b (N(s, b) или N(s,a))? Я пока только какой-то поверхностный туториал на медиуме нашел по этой теме
ссылка https://medium.com/oracledevs/lessons-from-alphazero-part-3-parameter-tweaking-4dceb78ed1e5

И то и то это все возможные действия же.

в числителе сидит сумма по всем действиям, доступным из стейта s

а в знаменателе - кол-во посещений пары s и a

грубо говоря, в числителе - посещаемость самого стейта, а в знаменателе - посещаемость действия a из этого стейта

Кстати, нашел еще статейку: https://arxiv.org/pdf/2012.11045.pdf
Из нее следует, что формулы для AlphaZero (2) и MuZero (3) одинаковые. В (3) просто c_puct расписано

если вы в каком-то поддереве бываете часто, но какое-то действие а выбирали редко, то добавка вам говорит, выбери а

ну да, это я и имел в виду под предпочтением

Я думаю, что над этим громоздким коэффициентом и константами не надо особо запариваться. Наверное, он как-то эмпирически получен...

c_puct меняется, а по обозначениям кажется что это константа, как-то фигово сделали.

С эмпирической точки зрения мотивация выбора другой стратегии эксплорейшна плюс минус понятна

UCT хотя имеет замечательные гарантии на обход всего дерева за бесконечное время, слишком активно ищет в ширину
И это больно в шахматах, где действий сравнительно много, а игры сравнительно длинные
Хочется больше вглубь
Вот вам и корень исчез, и плюс 1 в знаменателе

Хочется ещё внутри дерева руководствоваться не только uct оценками, но и прошлым опытом - вот вам политика в множителе

К этому можно прийти эмпирически

Но я не знаю, мб в этом есть и какая-то красивая бандитская история с regret bounds

константа имеется в виду с_puct-base=19652