Size: a a a

Все об АВ тестах

2019 August 22
Все об АВ тестах
Bayesian подход в A/B тестах на примере бейсбольной статистики с примерами кода на R:

http://varianceexplained.org/r/bayesian_ab_baseball/

via @ABtesting
источник
Все об АВ тестах
​​В Google Optimize появилась возможность через визуальный редактор вносить изменения для эксперимента сразу на нескольких группах страниц. Это полезно, когда в рамках одного теста нужно сделать разные изменения на странице товара и на странице оформления заказа. Пока что фича доступна в beta режиме. Более подробная информация в справке: http://bit.ly/2zdLRYg.

via @WebAnalyst
источник
2019 August 28
Все об АВ тестах
Бутстрап, или прикладная статистика почти без формул:

https://habr.com/ru/post/192000/

via @ABtesting
источник
2019 August 29
Все об АВ тестах
источник
Все об АВ тестах
В продолжение темы A/B-тестирования.

На Матемаркетинге будет огромная секция посвященная сплит-тестам.  

Когда мы собирали программу, я настаивал на том, чтобы мы начали с теории планирования эксперимента, а закончили физическим смыслом метрик и управлением их чувствительностью.
В начале лета я «засыпался» на А/Б-тестах в интервью с руководителем одного из самых крутых R&D на рынке, поэтому секция А/Б-тестирования на Матемаркетинге, можно сказать, выстрадана

Так вот. Что разбираем:
Начинаем с Анатолия Карпова (это именно тот человек, по чьему курсу на Stepic вы учили матстат). Он расскажет о том, как сделать так, чтобы А/Б-тестирование заработало. Это простой доклад.

Далее:
- Как создать инфраструктуру для обеспечения централизации обработки и автоматизации A/B-тестирования.  На примере Авито. Будет полезно тем, кто работает в крупных компаниях.
- Практические кейсы построения аналитической инфраструктуры в небольшой интернет-компании. Для тех, у кого мало данных, времени и денег.
- Как ускорить сотни А/Б-тестов в десятки раз. Это сложный доклад с глубокой математической базой.
Далее, снова два сложных доклада о том, как валидировать и развивать метрики  и увеличивать их чувствительность.

На какие вопросы получим ответ:

- Подходы к процессам централизации и автоматизации А/В-тестирования.
- Как устроена инфраструктура в Авито с погружением в детали:
-обеспечение безопасного сплита трафика в А/Б-тестах,
-различные типы метрик,
оптимизация тестирования,
-визуализация данных
- Как с помощью линеаризации, перевзвешивания, машинного обучения и баесовского вывода можно ускорить а/б тестирование в десятки раз
- Как обеспечить грамотную формулировка требований к аналитической инфраструктуре в компании
- Какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать.
- Как проведить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками и измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости
-  Кейсы про неверный выбор или интерпретацию метрик.
- Как работает метод стратификации и другие подходы к сокращению дисперсии для увеличения чувствительности метрик в экспериментах.
- Как, выбирая ключевую метрику для эксперимента, понимать область её применимости, чувствительность, уровень в иерархии.

Лекции читают Данила Леньков из Avito,  Игорь Яшков из Яндекс, Валерий Бабушкин из Х5 Retail Group,  Даша Чиркина из Яндекс, Виталий Черемисинов и Искандер Мирмахмадов из AIC, Анатолий Карпов из (ex)VK / Stepik / Quesful.

Еще подробнее все описано в программе: http://bit.ly/33SYfe0
+ у нас есть один свободный слот в этой секции. Подать заявку на участие с докладом в этой секции можно здесь: https://matemarketing.typeform.com/to/DmniEj  

Перешлите этот пост вашим продактам и продуктовым аналитикам. А также тем, кто руководит R&D.

Кроме лекций будут дискуссионные форматы, на которых можно будет вместе подумать над конкретно вашей задачей.

Ждем вас на Матемаркетинге.
https://matemarketing.ru/
источник
2019 August 30
Все об АВ тестах
Когда деньги — это основная метрика в А/Б-тесте:
https://www.thinkwithgoogle.com/intl/ru-ru/products-tools/analytical-tools/money-and-ab-tests/

via @ABtesting
источник
2019 September 02
Все об АВ тестах
источник
Все об АВ тестах
7 классных докладов с прошлогоднего Матемаркетинга.

В этом году - темы еще круче и их больше

@matemarketing_official

Share, please!
источник
2019 September 06
Все об АВ тестах
Интересно и наглядно о permutation testing:
https://www.jwilber.me/permutationtest/

via @ABtesting
источник
2019 September 16
Все об АВ тестах
Дельные советы. О самых частых ошибках в A/B тестировании: https://medium.com/manomano-tech/a-b-testing-10-common-mistakes-we-all-make-97a5030f1d44

via @ABtesting
источник
2019 September 17
Все об АВ тестах
Отличная статья от ребят из X5. Всем ребятам с рынка рекомендую ознакомиться, дабы расширить свой кругозор и иметь представление, как могут проводиться АБ-тесты в оффлайн ритейле.

https://habr.com/ru/company/X5RetailGroup/blog/466349/
источник
2019 September 20
Все об АВ тестах
23 ноября 13:00-16:00 в офисе Мегафон пройдет митап Experiment Fest об автоматизации процессов запуска и анализа a/b тестов.

Выступят специалисты из AVITO, SKYENG и AIC:
https://www.experiment-fest.ru/

via @ABtesting
источник
2019 September 30
Все об АВ тестах
A/B тесты в Яндекс, сокращаем дисперсию:
https://youtu.be/inGuisuMjpw?t=89

via @ABtesting
источник
Все об АВ тестах
Обучение статистике с помощью интерактивных визуализаций от Daniel Kunin

https://seeing-theory.brown.edu

via @ABtesting
источник
2019 October 07
Все об АВ тестах
О степенях свободы в статистике:
https://habr.com/ru/company/stepic/blog/311354/

via @ABtesting
источник
Все об АВ тестах
Как провести A/B-тест и не наделать ошибок. Влад Прищепов и Леонид Енов:
https://www.youtube.com/watch?v=sVKzq0xQ5vU

via @ABtesting
источник
2019 October 14
Все об АВ тестах
источник
2019 October 18
Все об АВ тестах
Две фундаментальные проблемы с A/B тестированием в продукте: https://mobiledevmemo.com/two-fundamental-problems-with-product-a-b-testing/

via @ABtesting
источник
Все об АВ тестах
Очень хороший и практичный материал о развитии продуктов. О том как планировать A/B тесты и соблюдать баланс между оптимизационными и иновационными изменениями.

via @ProductAnalytics
источник
2019 October 22
Все об АВ тестах
Сегодня в Киеве Jonas Alves (был у истоков experimentation platform в легендарном booking.com) сделает небольшой доклад: "Tracking mistakes in A/B testing and what we did to fix them".

https://www.facebook.com/paul.levchuk.1/posts/3203203959751678

via @ABtesting
источник