YK
а норм делать победа/луз/ничья 1/-1/0 ?
Size: a a a
2020 October 23
YK
или надо 1 0 0.5 ?
AM
можно как угодно делать. просто тогда будут разные коэффициенты в формуле более оптимальны. но для 3 на 3 вообще должно быть пофиг. он все дерево там успевает же проверить
KB
а норм делать победа/луз/ничья 1/-1/0 ?
если ты используешь UCB, то твоя оценка должна быть в [0, 1]
AM
почему нельзя [-1,1]? просто коэффициент подбираешь другой и все
ДС
Victor Istomin
29е четверг, а обещали во вторник. Почему бы не перенести на 3 ноября?
+
VI
Вторник?
Анонимный опрос
Проголосовало: 28
KB
почему нельзя [-1,1]? просто коэффициент подбираешь другой и все
я не знаю, что ты имеешь в виду под "коэффициентом" (возможно, C из формулы), но ucb/uct доказаны только для ревордов от 0 до 1 включительно:
Auer, Cesa-Bianchi and Fischer (2002) proposed a UCB1 procedure that achieves logarithmic regret when the reward distributions are supported on [0,1].
Auer, Cesa-Bianchi and Fischer (2002) proposed a UCB1 procedure that achieves logarithmic regret when the reward distributions are supported on [0,1].
KB
понятно, что [-1, 1] несложно заскейлить в [0, 1] :) но использовать их в первозданном виде в mcts с ucb не стоит
AM
да С из формулы имею ввиду. на практике в uTTT используют -1,1 и все работает
KB
да С из формулы имею ввиду. на практике в uTTT используют -1,1 и все работает
да, там правда можно как-то изменять С для других интервалов. но надо обмазываться диким тервером и прочими неравенствами хефдинга
AM
берешь просто меняешь и смотришь с каким выше в лидерборде зайдет )
YK
если я в MCTS в selection фазе нашел терминальную вершину, то как правильно ее обработать?
YK
симуляция дает скор+увеличивает total в нодах, а в случае терминальной ноды без симуляции должен же быть как-то однозначный ответ
YK
у меня почему-то развиваются ветки, где винрейт около 50%, вместо тех, где гарантирована победа
YK
и оно как-то через раз происходит, я юнит тесты написал и оно из-за рандома то пройдет, то упадет (да, да, рандом в тестах зло)
AM
какой коэффициент в формуле?
YK
какой коэффициент в формуле?
пробовал и 2 и 1.5