Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito:

https://www.youtube.com/watch?v=9UGyCOvQ7Z4

via @ABtesting

Подборка материалов по AB-тестированию:
https://cxl.com/blog/ab-testing-guide/

via @ABtesting

Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами:

https://www.reforge.com/blog/good-experiment-bad-experiment

via @ABtesting

Новая книга Нассима Талеба доступна для чтения в оригинале (EN):
"Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения."

https://arxiv.org/abs/2001.10488

via @ProductAnalytics

​​Шаблон SQL-запроса для подсчета основных метрик A/B-теста в Firebase по данным в BigQuery.

Конверсии по каждому из вариантов:
• в покупку,
• во второй запуск,
• в целевое действие.

via @BigQuery

Advanced A/B Testing Panel with Top Experts [Video]
https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/

via @ABtesting

10 статистических ловушек в А/Б тестировании:

https://cxl.com/blog/testing-statistics-mistakes/

via @ABtesting

Появились видеозаписи с Experiment Fest x Яндекс.Практикум:

https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

via @ABtesting

Оценка A/B тестов в Letyshops:

https://www.youtube.com/watch?v=2CN8IHy1OwU

via @ABtesting

Анализ ratio метрик в A/B-тестах от Ebay:

https://arxiv.org/abs/1911.03553

via @ABtesting

Хороший гайд по Байесовскому А/В-тестированию:

https://towardsdatascience.com/bayesian-a-b-testing-with-python-the-easy-guide-d638f89e0b8a

via @ABtesting

Доступно и просто о статистике A/B-тестов.
Несколько примеров:

https://medium.com/@rezwan.islam99

via @ABtesting

Прямо сейчас выступление Анатолия Карпова на Матемаркетинге-2019  на тему анализа А/В-тестов (Ссылка).

Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.

По окончании трансляции в закрытом чате появится ссылка на  Zoom-конференцию, где в течение 20 минут Анатолий ответит на заданные вопросы. В чате, во время лекции можно будет задать вопросы спикеру, а также сразу получить презентацию и расшифровку доклада.

Ссылка на telegram-чат (будет удален по окончании лекции)

via @ABtesting

Как оценить качество системы A/B-тестирования:

https://habr.com/ru/company/hh/blog/321386/

via @ABtesting

@AnalyzeCore - новый канал про аналитику, данные и их визуализацию от Сережи Брыля, автора блога analyzecore.com.

@BigQuery

Как проводить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками, а также измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости: https://www.youtube.com/watch?v=KswPj6MVvD4

via @ProductAnalytics

Краткое руководство по реализации A/B тестов на Python:

https://medium.com/@robbiegeoghegan/implementing-a-b-tests-in-python-514e9eb5b3a1

Github Repository: https://github.com/RobbieGeoghegan/AB_Testing

via @ABtesting

Альтеранитива A/B тестам - байесовские многорукие бандиты. Суть в том, что при обычном A/B мы льем много трафика на неоптимальные варианты и теряем в доходе и пользователях во время эксперимента. Многорукий бандит отлично подходит, когда нужно проверить эффективность большой подборки вариантов, которые не имеют серьезного принципиального отличия:

https://habr.com/ru/company/ods/blog/325416/

via @ABtesting

Виртуальное учебное пособие по A/B-тестированию в R от Elea McDonnell Feit:

Видео: https://www.youtube.com/watch?v=QXpYtM-Zlxg

Материалы воркшопа: https://eleafeit.github.io/ab_test/

via @ABtesting

5 Reasons to Go Bayesian in AB Testing:

http://blog.analytics-toolkit.com/2017/5-reasons-bayesian-ab-testing-debunked/

via @ABtesting