RS
В нем обычно сравнивается 2 варианта и не используется обратная связь для балансировки между сравниваемыми вариантами
Size: a a a
2021 May 21
kk
Ок...
kk
Я правильно понимаю, что обычно когда считаешь выборку в АБ тесте, можешь не верно предположить стандартное отклонение для второй выборки, и поэтому типо не правильно рассчитать размер выборки...и сделать не верные выводы, а в бандитах типо в реальном времени АБ тест делаешь...и точнее получается предсказывать "чтото" (например: разницу между выборками)?...
RS
Думаю, на практике удобнее оценивать уверенность в динамике, по накопленным данным
kk
kk
kk
Я вот читаю...а вижу фигу..последние 2 предложения не понятны..
kk
Спасибо
SS
Многорукие бандиты это про то, как выбирать лучший вариант как можно быстрее (sample efficiency), а АБ только про то, как их численно сравнивать
kk
Ок...то есть АБ можно статистически обосновать, а многоруких бандитов тоже хорошие результаты выдают...но как бы эмпирика..(?)
kk
Маленький вопрос: я примерно понял как работает каждый из видов многоруких бандитов, как под них параметры выбирать под какую стратегию...
Как теперь это к реальной задаче применить и поиграться на реальных данных ? Провести эксперимент ...
Как теперь это к реальной задаче применить и поиграться на реальных данных ? Провести эксперимент ...
SS
Не, в них тоже можно p-value посчитать, только намного сложнее
kk
Ок..
SS
Poor man's multi-armed bandits это например когда АБ-тест просто прерывают когда статзначимость достигается
kk
Я могу бандитов к временным рядам применить и поставить задачу выбрать самое классное оружие например в битве ?
kk
Хотя конечно хотелось бы заточить под что-то приносящее людям пользу, что-то позитивное
SS
Мб где-то есть специализированные оффлайн / синтетические датасеты для разработки самих алгоритмов проведения АБ, и на нём можно "поиграться", но я бы взял какой-нибудь существующий сервис и оптимизировал какой-нибудь его аспект через бандитов, используя действия реальных пользователей
kk
А есть какой-нибудь туториал выполнения такой задачи ?
SS
Типа автоматически подобрать цвет какой-то кнопочки на лэндинге из 256^3 возможных вариантов, так чтобы максимизировалась конверсия пользователей