V
да мне нужен пример с одной переменной.
Вопрос в самом примере. Я не могу придумать аналогию стерильного кабинета в программатике
Вопрос в самом примере. Я не могу придумать аналогию стерильного кабинета в программатике
а не надо стерильный
Size: a a a
2018 July 26
V
лекарства вполне себе изучают на живых людях (но сначала на мышах) :)
V
вам метафоры нужны не из квантовой физики, а из психологии и биологии
V
контрольные группы вот это Фсё
V
A/B/C/D тесты
VM
окей, спасибо) если кто что надумает - пишите в ЛС, пожалуйста?
Самый простой способ через A/B эксперименты. ты не исключаешь влияние внешних факторов, а оставляешь влияние равновероятным на всю аудиторию. саму аудиторию случайным образом делиш на нужно число групп.. в твоём примере - меняешь на для них ставку, смотришь на ctr. если выборка репрезентативна - эксперимент может прокрасится.
или этот путь не показателен?
или этот путь не показателен?
V
Самый простой способ через A/B эксперименты. ты не исключаешь влияние внешних факторов, а оставляешь влияние равновероятным на всю аудиторию. саму аудиторию случайным образом делиш на нужно число групп.. в твоём примере - меняешь на для них ставку, смотришь на ctr. если выборка репрезентативна - эксперимент может прокрасится.
или этот путь не показателен?
или этот путь не показателен?
влияние не устанавливается
V
а ТС хочет именно эксперимент!
V
впрочем, если будет переменную менять да регрессией считать, то может и получится что-то
A
вот у меня эксперимент по гипотезе: я думаю, что CTR растёт при росте ставки
Внешняя переменная - креатив и его качество, как мне элиминировать переменную? Или внешняя переменная - фродтрафик, который яростно кликает, как мне исключить его влияние в момент проведения эксперимента?
Внешняя переменная - креатив и его качество, как мне элиминировать переменную? Или внешняя переменная - фродтрафик, который яростно кликает, как мне исключить его влияние в момент проведения эксперимента?
вот у меня эксперимент по гипотезе:
я думаю, что CTR растёт при росте ставки
Если внешняя переменная - фродтрафик, который яростно кликает, то исключить его влияние я могу, если включу пребид-верификацию. По идее это будет элиминация. Или поправьте меня, пожалуйста, если кто-то знает.
Если крутиться на одних и тех же площадках в одинаковых объёмах и принять за аксиому, что фрод на них неизменен день ото дня - это создание константных условий
Если использовать контрольную группу, где ставка не меняется, а фрод тоже есть, то это балансировка
Если в серии экспериментов поменять последовательность действий - в первом эксперименте повышать ставку, а во втором понижать, но в одном и том же пределе (с 1 до 10 рублей и с 10 до 1 рублей, например), то по идее это контрбалансировка
А рандомизация - это показывать два разных креатива случайным образом и смотреть, как при росте ставки меняется CTR на обоих и вычислять не абсолютное значение, а дельту.
Скажите мне, пожалуйста, где я не права?
я думаю, что CTR растёт при росте ставки
Если внешняя переменная - фродтрафик, который яростно кликает, то исключить его влияние я могу, если включу пребид-верификацию. По идее это будет элиминация. Или поправьте меня, пожалуйста, если кто-то знает.
Если крутиться на одних и тех же площадках в одинаковых объёмах и принять за аксиому, что фрод на них неизменен день ото дня - это создание константных условий
Если использовать контрольную группу, где ставка не меняется, а фрод тоже есть, то это балансировка
Если в серии экспериментов поменять последовательность действий - в первом эксперименте повышать ставку, а во втором понижать, но в одном и том же пределе (с 1 до 10 рублей и с 10 до 1 рублей, например), то по идее это контрбалансировка
А рандомизация - это показывать два разных креатива случайным образом и смотреть, как при росте ставки меняется CTR на обоих и вычислять не абсолютное значение, а дельту.
Скажите мне, пожалуйста, где я не права?
DI
Нужно пользователей поделить одинаково думаю. Взять базу из CRM по частоте и суммам заказов, отсортировать. Четных в одну группу, нечетных в другую.
Чтобы помимо показов, стремится к одинаковому числу охвата.
При закупке - система всё равно оптимизирует показы на CTR. Если ставка меньше, то и за меньший объём конкурирует, значит хуже у системы возможности к оптимизации
Чтобы помимо показов, стремится к одинаковому числу охвата.
При закупке - система всё равно оптимизирует показы на CTR. Если ставка меньше, то и за меньший объём конкурирует, значит хуже у системы возможности к оптимизации
A
Денис, давай представим, что это тупая система закупки
A
мне для теории, не для практики сейчас
A
я хочу понять, верно ли я примеры привела для методов контроля внешней переменной
SK
вот у меня эксперимент по гипотезе:
я думаю, что CTR растёт при росте ставки
Если внешняя переменная - фродтрафик, который яростно кликает, то исключить его влияние я могу, если включу пребид-верификацию. По идее это будет элиминация. Или поправьте меня, пожалуйста, если кто-то знает.
Если крутиться на одних и тех же площадках в одинаковых объёмах и принять за аксиому, что фрод на них неизменен день ото дня - это создание константных условий
Если использовать контрольную группу, где ставка не меняется, а фрод тоже есть, то это балансировка
Если в серии экспериментов поменять последовательность действий - в первом эксперименте повышать ставку, а во втором понижать, но в одном и том же пределе (с 1 до 10 рублей и с 10 до 1 рублей, например), то по идее это контрбалансировка
А рандомизация - это показывать два разных креатива случайным образом и смотреть, как при росте ставки меняется CTR на обоих и вычислять не абсолютное значение, а дельту.
Скажите мне, пожалуйста, где я не права?
я думаю, что CTR растёт при росте ставки
Если внешняя переменная - фродтрафик, который яростно кликает, то исключить его влияние я могу, если включу пребид-верификацию. По идее это будет элиминация. Или поправьте меня, пожалуйста, если кто-то знает.
Если крутиться на одних и тех же площадках в одинаковых объёмах и принять за аксиому, что фрод на них неизменен день ото дня - это создание константных условий
Если использовать контрольную группу, где ставка не меняется, а фрод тоже есть, то это балансировка
Если в серии экспериментов поменять последовательность действий - в первом эксперименте повышать ставку, а во втором понижать, но в одном и том же пределе (с 1 до 10 рублей и с 10 до 1 рублей, например), то по идее это контрбалансировка
А рандомизация - это показывать два разных креатива случайным образом и смотреть, как при росте ставки меняется CTR на обоих и вычислять не абсолютное значение, а дельту.
Скажите мне, пожалуйста, где я не права?
Если переменная А - это фрод, то можно придти к нам в first data и получить чистый траффик, ибо у нас только настоящие люди =)
SK
Ну а если для теории - то я не очень понимаю, как можно нивелировать влияние внешней переменной (и понять, как она влияет), если там процесс стохастический
SK
либо я что-то не так понял
A
Ну а если для теории - то я не очень понимаю, как можно нивелировать влияние внешней переменной (и понять, как она влияет), если там процесс стохастический
Да бог с ним с фродом, я просто примера другого придумать не смогла
A
А если другой внешний фактор?
A
Гипотеза: ставка влияет на ctr. Валидный эксперимент должен учесть максимум внешних переменных и их контролировать