В продолжение темы A/B-тестирования.
На Матемаркетинге будет огромная секция посвященная сплит-тестам.
Когда мы собирали программу, я настаивал на том, чтобы мы начали с теории планирования эксперимента, а закончили физическим смыслом метрик и управлением их чувствительностью.
В начале лета я «засыпался» на А/Б-тестах в интервью с руководителем одного из самых крутых R&D на рынке, поэтому секция А/Б-тестирования на Матемаркетинге, можно сказать, выстрадана
Так вот. Что разбираем:
Начинаем с Анатолия Карпова (это именно тот человек, по чьему курсу на Stepic вы учили матстат). Он расскажет о том, как сделать так, чтобы А/Б-тестирование заработало. Это простой доклад.
Далее:
- Как создать инфраструктуру для обеспечения централизации обработки и автоматизации A/B-тестирования. На примере Авито. Будет полезно тем, кто работает в крупных компаниях.
- Практические кейсы построения аналитической инфраструктуры в небольшой интернет-компании. Для тех, у кого мало данных, времени и денег.
- Как ускорить сотни А/Б-тестов в десятки раз. Это сложный доклад с глубокой математической базой.
Далее, снова два сложных доклада о том, как валидировать и развивать метрики и увеличивать их чувствительность.
На какие вопросы получим ответ:
- Подходы к процессам централизации и автоматизации А/В-тестирования.
- Как устроена инфраструктура в Авито с погружением в детали:
-обеспечение безопасного сплита трафика в А/Б-тестах,
-различные типы метрик,
оптимизация тестирования,
-визуализация данных
- Как с помощью линеаризации, перевзвешивания, машинного обучения и баесовского вывода можно ускорить а/б тестирование в десятки раз
- Как обеспечить грамотную формулировка требований к аналитической инфраструктуре в компании
- Какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать.
- Как проведить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками и измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости
- Кейсы про неверный выбор или интерпретацию метрик.
- Как работает метод стратификации и другие подходы к сокращению дисперсии для увеличения чувствительности метрик в экспериментах.
- Как, выбирая ключевую метрику для эксперимента, понимать область её применимости, чувствительность, уровень в иерархии.
Лекции читают Данила Леньков из Avito, Игорь Яшков из Яндекс, Валерий Бабушкин из Х5 Retail Group, Даша Чиркина из Яндекс, Виталий Черемисинов и Искандер Мирмахмадов из AIC, Анатолий Карпов из (ex)VK / Stepik / Quesful.
Еще подробнее все описано в программе:
http://bit.ly/33SYfe0+ у нас есть один свободный слот в этой секции. Подать заявку на участие с докладом в этой секции можно здесь:
https://matemarketing.typeform.com/to/DmniEj Перешлите этот пост вашим продактам и продуктовым аналитикам. А также тем, кто руководит R&D.
Кроме лекций будут дискуссионные форматы, на которых можно будет вместе подумать над конкретно вашей задачей.
Ждем вас на Матемаркетинге.
https://matemarketing.ru/
