MG
а можно теперь на русском?))
"маловато установок, чтобы делать далекоидущие выводы о результатах таких тестов"
Size: a a a
2019 October 09
A
игра уже на стадии тестирования прототипа должна показать требуемые метрики?
A
На рекламу. Ну тратишь ты 1к или 1кк в месяц - ценник один?
Советую почитать про Real Time Bidding, SSP, DSP
VG
игра уже на стадии тестирования прототипа должна показать требуемые метрики?
да
A
то есть, к моменту издания они должны стать еще лучше?
VG
игра уже на стадии тестирования прототипа должна показать требуемые метрики?
если вуду ролики смотреть, там 3 стейджа бывает и 4, это все доработки до идеала
Э
"маловато установок, чтобы делать далекоидущие выводы о результатах таких тестов"
тогда зачем они тестируют эти прототипы, если толку от этого нет? или чего они хотят этим добиться?
VG
толк всегда есть)
VG
но как сказал один издатель, вуду не умеют тестировать так, чтобы увидеть правильные результаты, примерно такое
p
Мне кажется, что им просто не нужны тир2 игры
МП
но как сказал один издатель, вуду не умеют тестировать так, чтобы увидеть правильные результаты, примерно такое
То есть их тесты не объективны? Почему?
p
а тир1 и с таким тестом покажет хорошие результаты
p
зачем платить больше, если можно платить меньше
VG
зачем платить больше, если можно платить меньше
+1
MG
допустим, у тебя CPI $0.5, то есть за $200 ты получишь 400 установок за все время теста. ты замеряешь ретеншн первого дня, получается 43%.
С вероятностью 95%, если ты проведешь много таких же тестов на 400 установках, твой "настоящий" ретеншн будет в интервале от 38% до 48%.
при этом 38 - это плохо, а 48 - это хорошо, проходит по актуальным бенчмаркам.
дальше, если у тебя в следующем тесте получится 48%, то, казалось бы - рост на 5%, изменения сработали! но если посчитать, может оказаться что на такой выборке это изменение не статистически значимо, то есть "может и рили выросло, но точно (ок, не точно, а с такой-то вероятностью) сказать нельзя".
но вуду - топовый издаель и такой подход у них работает, так что не мне судить корректность их тестов :)
С вероятностью 95%, если ты проведешь много таких же тестов на 400 установках, твой "настоящий" ретеншн будет в интервале от 38% до 48%.
при этом 38 - это плохо, а 48 - это хорошо, проходит по актуальным бенчмаркам.
дальше, если у тебя в следующем тесте получится 48%, то, казалось бы - рост на 5%, изменения сработали! но если посчитать, может оказаться что на такой выборке это изменение не статистически значимо, то есть "может и рили выросло, но точно (ок, не точно, а с такой-то вероятностью) сказать нельзя".
но вуду - топовый издаель и такой подход у них работает, так что не мне судить корректность их тестов :)
VG
То есть их тесты не объективны? Почему?
ну это не мое умозаключение) Марат выше пояснил вроде, что 200 это мало
Э
допустим, у тебя CPI $0.5, то есть за $200 ты получишь 400 установок за все время теста. ты замеряешь ретеншн первого дня, получается 43%.
С вероятностью 95%, если ты проведешь много таких же тестов на 400 установках, твой "настоящий" ретеншн будет в интервале от 38% до 48%.
при этом 38 - это плохо, а 48 - это хорошо, проходит по актуальным бенчмаркам.
дальше, если у тебя в следующем тесте получится 48%, то, казалось бы - рост на 5%, изменения сработали! но если посчитать, может оказаться что на такой выборке это изменение не статистически значимо, то есть "может и рили выросло, но точно (ок, не точно, а с такой-то вероятностью) сказать нельзя".
но вуду - топовый издаель и такой подход у них работает, так что не мне судить корректность их тестов :)
С вероятностью 95%, если ты проведешь много таких же тестов на 400 установках, твой "настоящий" ретеншн будет в интервале от 38% до 48%.
при этом 38 - это плохо, а 48 - это хорошо, проходит по актуальным бенчмаркам.
дальше, если у тебя в следующем тесте получится 48%, то, казалось бы - рост на 5%, изменения сработали! но если посчитать, может оказаться что на такой выборке это изменение не статистически значимо, то есть "может и рили выросло, но точно (ок, не точно, а с такой-то вероятностью) сказать нельзя".
но вуду - топовый издаель и такой подход у них работает, так что не мне судить корректность их тестов :)
теперь понял твою мысль, спасибо
MG
с другой стороны, 50 центов это плохо, и если у тебя сходу 20 центов и ниже, то все не так плохо с размером выборки
МП
допустим, у тебя CPI $0.5, то есть за $200 ты получишь 400 установок за все время теста. ты замеряешь ретеншн первого дня, получается 43%.
С вероятностью 95%, если ты проведешь много таких же тестов на 400 установках, твой "настоящий" ретеншн будет в интервале от 38% до 48%.
при этом 38 - это плохо, а 48 - это хорошо, проходит по актуальным бенчмаркам.
дальше, если у тебя в следующем тесте получится 48%, то, казалось бы - рост на 5%, изменения сработали! но если посчитать, может оказаться что на такой выборке это изменение не статистически значимо, то есть "может и рили выросло, но точно (ок, не точно, а с такой-то вероятностью) сказать нельзя".
но вуду - топовый издаель и такой подход у них работает, так что не мне судить корректность их тестов :)
С вероятностью 95%, если ты проведешь много таких же тестов на 400 установках, твой "настоящий" ретеншн будет в интервале от 38% до 48%.
при этом 38 - это плохо, а 48 - это хорошо, проходит по актуальным бенчмаркам.
дальше, если у тебя в следующем тесте получится 48%, то, казалось бы - рост на 5%, изменения сработали! но если посчитать, может оказаться что на такой выборке это изменение не статистически значимо, то есть "может и рили выросло, но точно (ок, не точно, а с такой-то вероятностью) сказать нельзя".
но вуду - топовый издаель и такой подход у них работает, так что не мне судить корректность их тестов :)
Это я понимаю. Просто увидел "вуду не умеют тестировать так, чтобы увидеть правильные результаты".
Я вот тестировал с Round Zero. Может кто знает таких? Они льют примерно по 200 человек в день в течение недели. И я в течение этой недели успевал делать выводы по аналитике и быстро выкатывал апдейты. И так в течение недели поднимал д1 на 3-5%. И сидел думал, достаточно ли такого трафика, чтобы убедиться, что правки полезные
Я вот тестировал с Round Zero. Может кто знает таких? Они льют примерно по 200 человек в день в течение недели. И я в течение этой недели успевал делать выводы по аналитике и быстро выкатывал апдейты. И так в течение недели поднимал д1 на 3-5%. И сидел думал, достаточно ли такого трафика, чтобы убедиться, что правки полезные
VG
вывод какой после таких тестов?