Size: a a a

Все об АВ тестах

2020 July 02
Все об АВ тестах
Математика A/B-тестирования с примером кода на Python:

https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f

via @ABtesting
источник
2020 July 07
Все об АВ тестах
​​Гайд по дизайну A/B тестов с использованием Python.

via @ABtesting
источник
2020 July 10
Все об АВ тестах
​​5 полезных Телеграм-каналов для аналитиков:

@ProductAnalytics - Шпаргалка продуктового аналитика, актуальные материалы из закладок аналитиков.

@WebAnalyst - WebAnalytics - полезная информация по веб-аналитике, повышению конверсии и анализу данных в маркетинге.

@BigQuery - Аналитика в Google BigQuery, примеры решений и SQL-запросов, инсайты, лайфхаки и советы по работе с данными.

@ABtesting - Лучшие материалы по A/B-тестированию в одном канале.

@MarkeTech - Канал о маркетинговой аналитике и применении современных технологий в digital-маркетинге
источник
2020 July 30
Все об АВ тестах
​​Повышение чувствительности экспериментов от Booking, даже если CUPED не справляется.

via @ABtesting
источник
2020 August 06
Все об АВ тестах
А/B-тестирование в офлайн-ритейле. Выступление Валерия Бабушкина на онлайн-конференции "Большие данные ритейла в условиях шторма"

https://www.youtube.com/watch?v=OZ1Ywpm4kIY

via @ABtesting
источник
2020 August 17
Все об АВ тестах
источник
2020 August 28
Все об АВ тестах
источник
2020 September 01
Все об АВ тестах
Бесплатный курс про A/B-тесты от Devtodev, рассматриваются правила работы с гипотезами: как их искать и находить, как определять приоритеты, как отбрасывать ненужные, когда A/B-тест нужен, а когда нет: https://www.devtodev.com/education/online-course/ab-tests-from-a-to-b-part1

via @ABtesting
источник
2020 September 03
Все об АВ тестах
Статья про байесовский подход к оценке результатов A/B-тестирования. Хорошо и доступно описывается сам подход и его преимущества. Также в статье есть примеры кода, которые будут полезны для собственных проектов

https://towardsdatascience.com/why-you-should-try-the-bayesian-approach-of-a-b-testing-38b8079ea33a
источник
2020 September 13
Все об АВ тестах
Эксперименты бывают долгими по-разным причинам:

1. Хотим увидеть очень маленькое изменение => надо много трафика.
Это решается или подбором (1) более чувствительной метрики, или (2) исправлением самой гипотезы.
Разработка более чувствительных метрик – это долгий аналитический процесс.
Если компания/продукт уже достаточно зрелая и вышла на стадию оптимизации, то имеет смысл потратить на это время и тем самым ускорить эксперименты. Яндекс и Booking много пишут про создание синтетических метрик, которые часто являются каким-либо математическим преобразованием над исходной метрикой.
Если мы говорим про запуск нового продукта/стартапа, то надо отправлять гипотезу на доработку (делать ux-ресерчи и тестировать мокапы) или вообще отказываться от ее проверки. АБ-тест тут не подходит – это очень дорогой способ проверки гипотезы, т.к. требует наличия разработанного продукта.

2. Эффект изменения сильно отложен => долго ждать обратной связи от рынка
В SaaS одна из главных метрик – это продление подписки. Если мы говорим про готовые подписки, то и ждать результатов гипотезы нужно год.
В таком сценарии надо искать прокси-метрики, которые могут "предсказывать" отложенные метрики.
Например, наша целевая метрика – % продлений через год. Подписка продляется через Apple Store автоматически через год. Это правило платформы, которое на которое не можем повлиять.
Но у этой метрики есть зеркальная метрика – отмены подписок. Отменять подписку пользователь может самостоятельно в любое время по собственному желанию. И мы, как продукт, можем на это желание влиять. Поэтому такая "обратная" метрика будет хорошим индикатором для основной метрики.
Другой пример – возвращение пользователей в продукт через месяц (monthly retention). Неохота ждать месяц для проверки влияния на эту метрику. Тут хорошее поле для исследований данных. Очень часто количество сессий / время в приложении / retention на первый день хорошо "предсказывают" retention через месяц. Поэтому можно брать эти прокси-метрики.

3. Делаем слишком много мелких изменений в продукте и хотим оценить их суммарный эффект
В таком случае принято резервировать долгосрочную контрольную группу и через один-два квартала сравнивать с ней с новый продукт. Тут не вижу способов как ускорить. Просто нужно принимать это как есть и коммуницировать стейкхолдерам.

(с) Антон Марцен
источник
Все об АВ тестах
Рекомендации по проведению A/B-тестов от Lime Engineering:
https://medium.com/lime-eng/experimentation-analysis-at-lime-bee846d62dd

via @ABtesting
источник
2020 September 16
Все об АВ тестах
Очень хорошая книга по A/B-тестированию:
https://experimentguide.com/

via @ABtesting
источник
2020 September 22
Все об АВ тестах
источник
2020 October 02
Все об АВ тестах
​​Появился второй модуль бесплатного курса по A/B-тестированию от Devtodev. Первый модуль был о работе с гипотезами и подготовке к тестированию, а второй - о статистике тестов.

via @ABtesting
источник
2020 October 05
Все об АВ тестах
A/B-тесты - не единственный инструмент для понимания причинно-следственной связи: квазиэксперименты и контрфакты - альтернативные инструменты для причинного вывода:
https://medium.com/data-shopify/how-to-use-quasi-experiments-and-counterfactuals-to-build-great-products-487193794da

via @ABtesting
источник
2020 October 09
Все об АВ тестах
​​Руководство по А/В-тестированию от VK tech:
https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

via @ABtesting
источник
2020 October 14
Все об АВ тестах
​​Хорошая база знаний по А/Б-тестам:
https://exp-platform.com

via @ABtesting
источник
2020 November 09
Все об АВ тестах
​​Как платформы для экспериментов, такие как Optimizely, игнорируют один из самых фундаментальных принципов AB-тестирования:
https://towardsdatascience.com/unlocking-peeking-in-ab-tests-7847b9c2f6bb

via @ABtesting
источник
2020 November 11
Все об АВ тестах
​​PlanOut.js - библиотека, разработанная Facebook для A/B-тестирования. Помогает проводить тесты более качественно:
https://nimeetshah.medium.com/how-to-implement-an-a-b-testing-framework-in-reactjs-with-planout-f36c3fa29940

via @ABtesting
источник
2020 November 13
Все об АВ тестах
​​Как в Flo повысили долю успешных A/B тестов на 30% через внедрение нового процесса работы с гипотезами:
https://gopractice.ru/how_to_increase_the_number_of_successful_experiments/

via @ABtesting
источник