Size: a a a

Все об АВ тестах

2019 May 03
Все об АВ тестах
Артур Маликов из Яндекса про то, на что следует обратить внимание для внедрения АБТ

Видео: https://youtu.be/Vcz266BJqok?list=PLH-XmS0lSi_zZxi7wen923-rQPIspbb1o
Тезисы: http://backendconf.ru/2016/abstracts/2101.html
источник
Все об АВ тестах
Сергей Мыц и Данил Валгушев про то, как устроено АБТ в Яндексе

Текст: https://habr.com/company/yandex/blog/342704/
Видео: https://www.youtube.com/watch?v=dDm2JIMBac8
источник
Все об АВ тестах
Эксперименты в Майкрософт

сайт: https://exp-platform.com/experiments-at-microsoft/
источник
Все об АВ тестах
Роман Поборчий из Яндекса про АБТ

видео: https://www.youtube.com/watch?v=sxBE3XMsQCw
ещё видео: https://www.youtube.com/watch?v=AEi2rQLHhdQ
источник
Все об АВ тестах
Глеб Сологуб из SkyEng про то, как не надо проводить ABT

видео: https://www.youtube.com/watch?v=SE9sUeSU550
источник
Все об АВ тестах
Виталий Чермисинов из AIC про принципы АБТ

видео: https://vimeo.com/211083513
источник
Все об АВ тестах
Maria Ligia Klokner from Booking.com about UXBooking.com about UX and A/B Testing

video: https://youtu.be/C-U1Pakvk2A
источник
Все об АВ тестах
Олег Якубенков из Facebook про то, как не надо анализировать A/B тесты

текст: https://gopractice.ru/how-not-to-analyze-abtests/
источник
Все об АВ тестах
Паша Шишкин из Chatfuel про Aha-moment и продуктовые гипотезы

видео: https://youtu.be/xjqLk_8nGRo
источник
Все об АВ тестах
Олег Якубенков из Facebook про то, как просто реализовать А/Б тестирование в мобильном приложении

текст: https://gopractice.ru/ab_testing_mobile_apps/
источник
Все об АВ тестах
Джейсон Хартлайн из Northwestern University 7 августа 18:00 в офисе Яндекса расскажет про A/B-тестирование дизайна аукционов

ЦА: разработчики и технические люди

Мероприятие: https://events.yandex.ru/events/science-seminars/07-aug-2018/
источник
Все об АВ тестах
Ребята из Server Density протестировали изменения цен и увеличили доход на 114%

оригинал: https://vwo.com/blog/saas-pricing-ab-test/

перевод: http://tilda.education/articles-yourfirstabtest#rec4328495
источник
Все об АВ тестах
Александр Писаренко из Kepler Leads про 10 примеров по увеличению конверсии в 2 и более раз

текст: https://keplerleads.com/blog/10-sovetov/
источник
Все об АВ тестах
Стас Гафаров из Сбербанка про план проверки статистических гипотез

1️⃣ Определить основную (нулевую) гипотезу;

2️⃣ Задать статистический критерий, т.е. задать статистику критерия (читай тип), задать критическую область (тоже тип). Основные типы критериев: параметрические, непараметрические. Вопрос о том, какую статистику надо взять для проверки той или иной гипотезы, часто не имеет однозначного ответа;

3️⃣ Определить уровень значимости;

4️⃣ Выбрать группы для теста. Проверить несколько раз что эти группы не пересекаются;

5️⃣ Сам тест, по сути проверка условия что «данные не противоречат нулевой гипотезе при уровне значимости \alpha». Если да, то гипотеза принимается.

Ссылки на математику по теме проверки гипотез:
🐈 лайтовая: http://statistica.ru/theory/proverka-gipotez/
🦁 хардкорная: http://www.machinelearning.ru/wiki/index.php?title=Проверка_статистических_гипотез
источник
Все об АВ тестах
Станислав Видяев из Google Russia про настройку A/Б-тестирования сайтов с помощью Google Optimize

текст: https://www.thinkwithgoogle.com/intl/ru-ru/ad-solutions/mobile/how-to-ab-test/

видео: https://youtu.be/k8rOXypBuGA
источник
Все об АВ тестах
Олег Якубенков из Facebook про то, почему ваши A/B тесты требуют больше времени, чем могли бы

текст: https://gopractice.ru/exposing_users_to_abtest/
источник
Все об АВ тестах
Steve Urban, Rangarajan Sreenivasan, and Vineet Kannan from NetFlix about The Netflix Experimentation Platform

текст: https://medium.com/netflix-techblog/its-all-a-bout-testing-the-netflix-experimentation-platform-4e1ca458c15
источник
Все об АВ тестах
The Pitfalls of Running A/B Tests from Ariel Verber

Many people who create digital products have probably heard of the term ‘Designing with Data’. It’s a very obvious practice, that suggests that making intuition-based decisions is not enough, and better decisions are usually supported by quantitative or qualitative evidence.

This leads many teams to run A/B Tests. In short, A/B tests are a way to offer slightly different versions of your product to users of the same initial group, and measure the difference in their behavior. They’re probably one of the best ways to bring actionable data.

The reason A/B tests are so effective, is because they basically mean asking your users absolute questions with 100% truth in the results. For example, by running a simple A/B test you can ask ‘How many extra sales will I make if I offer free shipping worldwide?’. To get an answer for this question, all you need to do is to offer free shipping to 50% of your users, and measure the sales in that group compared to the rest. Then, using simple calculations, you can measure the profitability of adding ‘free shipping’ and decide if it’s worth it or not.

I’ve always been a big advocate of A/B tests, but time led me to learn that they’re highly addictive and sometimes not very justified.

There may be pitfalls that will lead you into making a bad choice. Here are a few examples:
1. Some of the impact may be unforeseen at first
2. Query mistakes are a thing
3. The sample size has to be big enough
4. Numbers don’t have human empathy
5. A/B tests may slow you down

Whole article: https://medium.com/joytunes/the-pitfalls-of-running-a-b-tests-4da7141960d7
источник
Все об АВ тестах
Полина Опарина из DocDoc про A/B тестирование в мобильных приложениях на Product Camp Minsk 2018

Ниже приведён текст самой презентации, опубликованный докладчиком на странице в Facebook.

- - -

Этот доклад будет вам интересен, если

- У вас есть мобильное приложение.
- Вы не делаете A/B тесты, но хотели бы начать.
- Вы выбираете решение для A/B тестирования в приложении.
- Вы уже используете какой-то инструмент, но он вас не устраивает.

Этой зимой у нас появилась задача внедрить инструмент для A/B тестирования в приложении DocDoc.

Первым делом мы проанализировали готовые решения и обнаружили ряд проблем.
Об этом есть отдельный слайд в презентации. Но самым критичным для нас была невозможность выгрузить сырые данные и гибко управлять сплитами.
Инструменты развиваются. И, возможно, сейчас уже нет такой проблемы в Firebase и ему подобных, но на тот момент ни одно готовое решение нас не устроило.

Зато мы поняли, что сделать инструмент для A/B тестирования самим это не rocket science.

Нужно всего лишь сделать:
- Механизм сплитования
- Апишку
- Админку для настройки фич
- Немного магии на стороне мобильной разработки
- Отчётность

Наши сплиты построены на основе случайной части GA Client ID.
Это случайное число от 0 до 255.
В админке для каждой фича задаются правила сплитов. Например, (0; 127) - фича выключена, (128; 255) - фича включена.

Split ID и правила определяют набор фичей, доступных клиенту.

Этот набор закодирован в Feature_status. Вместо конфига мы используем двоичное число. Каждой фича соответствует свой разряд, который может принимать значения 0 (фича выключена) или 1 (фича включена).

Feature_status пробрасывается в GA в Custom dimension. Число пользовательских параметров в GA ограничено (не больше 20). Но мы не упираемся в этой ограничений, тк занимаем всего один кастомный параметр.

Подробнее о техническом решении расскал великолепный Aleksander Krasnov на AppsConf 🖤

Каждый тест проходит такой цикл:
- Заводим новое правило в админке
- Реализуем логику в коде
- Релизим приложение
- Запускаем тест
- Ждём
- Анализируем результаты
- Принимаем решение, какой вариант остаётся
- Включаем в админке победителя на 100%
- Вычищаем из кода проигравший вариант

По сути мы получили инструмент для A/B тестирования + remote config.

Это позволяет нам проверять гипотезы, отслеживать фактическое влияние запущенных фич на метрики, делать постепенную выкатку функционала.

Для любителей цифр:
- На разработку решения мы потратили суммарно около 280 человеко-часов.
- Примерно на 30% увеличивается стоимость разработки и тестирования, если фича делается через A/B.
- Максимальный ROI дают тесты заголовков, конверсионных подписей, текстов пушей.

Презентация: https://goo.gl/qMi7nZ
источник
Все об АВ тестах
Виталий Котов из Badoo про покрытие A/B-тестов UI-тестами

Мы создали интерфейс для удобного контроля над покрытием A/B-тестов; в результате теперь у нас есть вся информация о работе UI-тестов с A/B-тестами;

Мы выработали для себя способ написания временных UI-тестов с простым и эффективным флоу их дальнейшего удаления или перевода в ряды постоянных;

Мы научились легко и безболезненно тестировать релизы A/B-тестов, не мешая другим запущенным UI-тестам, и без излишних коммитов в Git.

Всё это позволило адаптировать автоматизацию тестирования под постоянно меняющиеся фичи, легко контролировать и увеличивать уровень покрытия и не зарастать легаси-кодом.

Ссылка: https://habr.com/company/badoo/blog/434448/
источник