AN
Я мельком посмотрел UTTT, там ведь в ничью так-же гарантированно можно выходить, если ходить каждый раз в то же поле (из 9-ти больших), что и противник. Или нет?
Size: a a a
2020 October 22
Vc
Я в классическом вообще не пойму проку с рандомных ходов, в тех же шахматах есть 99 победных переходов и 1 лузовый, тогда МКТС скажет что все окей, вероятность победить норм (если не найдет тот самый ход), а оппонент на самом деле сделает нужный ход и гг
на шаге соперника он говорит "а у меня есть 100% выигрышный ход" и распространяет наверх. тогда ты говоришь "не будем ходить так, чтобы он мог походить сюда"
YK
Ту же SARSA натренить и пусть ходит как надо
Vc
но вот как работает смитсимакс я всё еще не понимаю концептуально
AN
Ту же SARSA натренить и пусть ходит как надо
что за сарма? Поисковик не находит
IM
Мне все время хочется какие-то умные playout policy применять вместо рандомных ходов
Нейронку как полиси тренируй)
Vc
идея вроде бы такая
строим 2 дерева
берем лучший ход для себя, сравниваем с лучшим ходом соперника
соперник ищет лучший ход для этого твоего лучшего хода
и так далее
строим 2 дерева
берем лучший ход для себя, сравниваем с лучшим ходом соперника
соперник ищет лучший ход для этого твоего лучшего хода
и так далее
Vc
но они же могут вообще не сходиться, я не понимаю как там можно что-то отбрасывать, например
IM
Alexander N
Я мельком посмотрел UTTT, там ведь в ничью так-же гарантированно можно выходить, если ходить каждый раз в то же поле (из 9-ти больших), что и противник. Или нет?
Там по правилам любое поле выбирать нельзя
AM
смитмакс находит примерно лучшее усредненное решение для различных поведений противника. он постоянно подстраивается под противника. а противник под тебя
YK
Alexander N
что за сарма? Поисковик не находит
SARSA извиняюсь
YK
Нейронку как полиси тренируй)
Это оно и есть
Vc
смитмакс находит примерно лучшее усредненное решение для различных поведений противника. он постоянно подстраивается под противника. а противник под тебя
то есть мы исходим из того что есть одно выигрышное решение, а не несколько, получается?
YK
то есть мы исходим из того что есть одно выигрышное решение, а не несколько, получается?
Мы не полагаемся на рандом
YK
Уже хорошо
k
Я в классическом вообще не пойму проку с рандомных ходов, в тех же шахматах есть 99 победных переходов и 1 лузовый, тогда МКТС скажет что все окей, вероятность победить норм (если не найдет тот самый ход), а оппонент на самом деле сделает нужный ход и гг
поэтому мктс плохо работает в шахматах
k
по сравнению с минимаксом
YK
Почему нельзя везде МКТС заменить на смитсимакс
IM
Почему нельзя везде МКТС заменить на смитсимакс
Потому что у него ограничения, почитай в статье оригинальной
AN
по сравнению с минимаксом
а минимакс это разве не тот алгоритм, который обходит дерево полностью?