Топ100 AI-стартапов 2020 по версии CB Insights.
@internetanalytics
Size: a a a
2020 April 24
Deloitte спросил 16 000 сотрудников разного уровня из 4 000 организаций всего мира о том, как они видят идеальную благодарность за свой труд и признание от начальства.
Ранее уже было показано, что признание успехов сотрудников повышает их вовлеченность и уменьшает текучку кадров. Новое исследование подробно рассматривает способы такого признания. Результаты любопытные.
Три четверти опрошенных указали, что за небольшие будничные достижения им достаточно простого "спасибо"!
Трети опрошенных достаточно признания и благодарности от коллег (и среди них больше всего baby boomer'ов), еще трети - от непосредственного начальника. 37% требуют признания высшего менеджмента, и в этой группе больше всего миллениалов.
34% опрошенных считают достаточным демонстрацию признания в личном общении, и только 18% хотят широкопубличной благодарности.
В качестве признания значительного достижения половина опрошенных предпочли перспективу роста денежным вознаграждениям. 23% хотели бы повышения зарплаты, и только 10% предпочли премию.
P.S. Deloitte выделяет четыре типа личности сотрудников: пионер, драйвер, страж и интегратор. Пионеры - энергичные, творческие, спонтанные и быстро адаптирующиеся люди, которые любят рисковать. Драйверы - логичны, техничны, расчетливы, любят испытания. Стражи практичны, внимательны к деталям и любят порядок и стабильность. Интеграторы - дипломатичные командообразующие эмпаты. В конце исследования Deloitte дает советы по мотивации каждого типа.
@internetanalytics
Ранее уже было показано, что признание успехов сотрудников повышает их вовлеченность и уменьшает текучку кадров. Новое исследование подробно рассматривает способы такого признания. Результаты любопытные.
Три четверти опрошенных указали, что за небольшие будничные достижения им достаточно простого "спасибо"!
Трети опрошенных достаточно признания и благодарности от коллег (и среди них больше всего baby boomer'ов), еще трети - от непосредственного начальника. 37% требуют признания высшего менеджмента, и в этой группе больше всего миллениалов.
34% опрошенных считают достаточным демонстрацию признания в личном общении, и только 18% хотят широкопубличной благодарности.
В качестве признания значительного достижения половина опрошенных предпочли перспективу роста денежным вознаграждениям. 23% хотели бы повышения зарплаты, и только 10% предпочли премию.
P.S. Deloitte выделяет четыре типа личности сотрудников: пионер, драйвер, страж и интегратор. Пионеры - энергичные, творческие, спонтанные и быстро адаптирующиеся люди, которые любят рисковать. Драйверы - логичны, техничны, расчетливы, любят испытания. Стражи практичны, внимательны к деталям и любят порядок и стабильность. Интеграторы - дипломатичные командообразующие эмпаты. В конце исследования Deloitte дает советы по мотивации каждого типа.
@internetanalytics
Deloitte спросил 16 000 сотрудников разного уровня из 4 000 организаций всего мира о том, как они видят идеальную благодарность за свой труд и признание от начальства.
@internetanalytics
@internetanalytics
Deloitte спросил 16 000 сотрудников разного уровня из 4 000 организаций всего мира о том, как они видят идеальную благодарность за свой труд и признание от начальства.
@internetanalytics
@internetanalytics
2020 April 27
Машинный инвестиционный прогноз - одна из ключевых фишек ФинТеха. Университет штата Индиана (США) опубликовал 👆 статью, в которой сравнивает эффективность подходов человека и компьютера в составлении инвестиционных рекомендаций.
Авторы сравнили 135 000 прогнозов, выпущенных в период с 2003-го по 2018-й год, на отобранную тысячу компаний. Прогнозы составлены робо-аналитиками ресурса ThomsonOne и обычными аналитиками. В каждый прогноз входят рекомендации по покупке компаний, по удержанию и по продаже.
Исследование показало, что робо-аналитики генерируют в 4 раза больше, чем люди, рекомендаций по продаже компаний и на 15% меньше по приобретению, что показывает, что люди предвзято оптимистичны. Это доказывает и предложенная в статье мат.модель: компьютер оказался на 13% менее оптимистичен, чем человек.
Аналитики чаще опираются на отчеты о выручке компании, тогда как компьютер анализирует все данные годовых отчетов.
А главное, портфели, составленные по рекомендациям робо-аналитиков, опережают в результативности портфели, составленные по рекомендациям аналитиков-людей. Например, сверхдоходность портфелей, собранных по прогнозам компьютера, составила до 7%, тогда как у портфелей, собранных людьми, достигала лишь 1.2%-1.7%.
Авторы статьи утверждают, что если бы в рассмотренные 15 лет инвесторы чаще прислушивались к советам компьютерных алгоритмов, они бы заработали значительно больше денег. Однако доверие к робо-аналитикам в индустрии все еще очень низкое.
@internetanalytics
Авторы сравнили 135 000 прогнозов, выпущенных в период с 2003-го по 2018-й год, на отобранную тысячу компаний. Прогнозы составлены робо-аналитиками ресурса ThomsonOne и обычными аналитиками. В каждый прогноз входят рекомендации по покупке компаний, по удержанию и по продаже.
Исследование показало, что робо-аналитики генерируют в 4 раза больше, чем люди, рекомендаций по продаже компаний и на 15% меньше по приобретению, что показывает, что люди предвзято оптимистичны. Это доказывает и предложенная в статье мат.модель: компьютер оказался на 13% менее оптимистичен, чем человек.
Аналитики чаще опираются на отчеты о выручке компании, тогда как компьютер анализирует все данные годовых отчетов.
А главное, портфели, составленные по рекомендациям робо-аналитиков, опережают в результативности портфели, составленные по рекомендациям аналитиков-людей. Например, сверхдоходность портфелей, собранных по прогнозам компьютера, составила до 7%, тогда как у портфелей, собранных людьми, достигала лишь 1.2%-1.7%.
Авторы статьи утверждают, что если бы в рассмотренные 15 лет инвесторы чаще прислушивались к советам компьютерных алгоритмов, они бы заработали значительно больше денег. Однако доверие к робо-аналитикам в индустрии все еще очень низкое.
@internetanalytics
2020 April 29
Мэри Микер констатирует начало нового мира. Новое исследование описывает время шока и то, что может ожидать нас после.
Поведение людей меняется и множество процессов придется переосмыслить. Онлайн - это лишь надстройка над оффлайном, но не полноценная замена его. С другой стороны - сейчас наступает время для тестирования моделей (поведения и взаимодействия) которые были нереализуемы еще несколько месяцев назад. Большинство бизнесов оказались беспомощными перед полным онлайном и все те тренды, которые сулили нам полный переход в Сеть через ХХ лет, вдруг свершились одномоментно.
Mail.Ru и Яндекс выкатили исследования, собранные на метаданных запросов в Поиске, социальных сетях, пользования продуктами и опросов.
https://corp.mail.ru/ru/press/infograph/10607/
https://yandex.ru/company/researches/2020/life-in-isolation
В них много забавных и позитивных фактов, из которых можно сделать выводы о поведении масс, но важнее, на мой взгляд, принять во внимание также исследования Deloitte о возросшем пессимизме российского бизнеса. В топ-3 рисков, оказавших наиболее сильное влияние на бизнес, вошли ослабление рубля (80%), снижение доходов от основной деятельности (78%) и снижение спроса (78%).
Кроме этого, аналитики констатируют апатию и снижение интереса к онлайну у населения - наигрались...
@internetanalytics
Поведение людей меняется и множество процессов придется переосмыслить. Онлайн - это лишь надстройка над оффлайном, но не полноценная замена его. С другой стороны - сейчас наступает время для тестирования моделей (поведения и взаимодействия) которые были нереализуемы еще несколько месяцев назад. Большинство бизнесов оказались беспомощными перед полным онлайном и все те тренды, которые сулили нам полный переход в Сеть через ХХ лет, вдруг свершились одномоментно.
Mail.Ru и Яндекс выкатили исследования, собранные на метаданных запросов в Поиске, социальных сетях, пользования продуктами и опросов.
https://corp.mail.ru/ru/press/infograph/10607/
https://yandex.ru/company/researches/2020/life-in-isolation
В них много забавных и позитивных фактов, из которых можно сделать выводы о поведении масс, но важнее, на мой взгляд, принять во внимание также исследования Deloitte о возросшем пессимизме российского бизнеса. В топ-3 рисков, оказавших наиболее сильное влияние на бизнес, вошли ослабление рубля (80%), снижение доходов от основной деятельности (78%) и снижение спроса (78%).
Кроме этого, аналитики констатируют апатию и снижение интереса к онлайну у населения - наигрались...
@internetanalytics
Помните Виталия Черемисинова и Искандера Мирмахмадова из AIC, которые в одно время практически монополизировали всю публичную информацию на тему А/В-тестирования?
Они открыли что-то типа образовательного центра и агрегируют много толковых материалов в канале @exp_fest
Кроме них только @abtesting на эту тему.
И те и те пишут нечасто
Они открыли что-то типа образовательного центра и агрегируют много толковых материалов в канале @exp_fest
Кроме них только @abtesting на эту тему.
И те и те пишут нечасто
Доступ к курсам.
Devtodev на три месяца открывает доступ к своим курсам.
- Математика в геймдизайне: теория и практика
- Маркетинг мобильных игр: базовый курс
- Игровая аналитика: от основ к продвинутым методам
- Геймдизайн: как делать игры, которые нравятся и приносят деньги
И другие
https://www.devtodev.com/education/online-course/
Harvard тоже открыл доступ к курсам.
Там не только наука о данных, но и науки о данных много. Доступ открыт на 8 недель, некоторые курсы длятся тоже 8 недель. Поэтому записывайтесь скорее. Иначе придётся доплачивать в конце.
https://online-learning.harvard.edu/subject/data-science
@internetanalytics
Devtodev на три месяца открывает доступ к своим курсам.
- Математика в геймдизайне: теория и практика
- Маркетинг мобильных игр: базовый курс
- Игровая аналитика: от основ к продвинутым методам
- Геймдизайн: как делать игры, которые нравятся и приносят деньги
И другие
https://www.devtodev.com/education/online-course/
Harvard тоже открыл доступ к курсам.
Там не только наука о данных, но и науки о данных много. Доступ открыт на 8 недель, некоторые курсы длятся тоже 8 недель. Поэтому записывайтесь скорее. Иначе придётся доплачивать в конце.
https://online-learning.harvard.edu/subject/data-science
@internetanalytics
2020 April 30
Одно из лучших (на мой взгляд) объяснений природы А/B-тестов от Вити Кантора @kantor_ai ⬇️
Статзначимость в А/В тестах (часть 1/3)
Итак, победил вариант «Простыми словами про статзначимость в А/В тестах». Разбил ответ на три части: введение, непосредственно по теме и некоторые интересные моменты, которые тоже полезно обсудить. Кто знает ответы на вопросы, выделенные полужирным шрифтом в этом посте, могут просто пролистать его и переходить сразу ко второму.
Зачем вообще нужны А/В тесты?
Потребность в А/В тестах возникает тогда, когда мы хотим что-то улучшить. Например, взамен какого-то существующего алгоритма персональных рекомендаций товаров или старого интерфейса мобильного приложения внедрить новую версию. А/В тесты как метод отвечают на вопрос: «Как понять, что это правда будет улучшать важные для нас показатели?»
Посмотреть «стало ли продаж больше» и удовлетвориться такой оценкой нововведения — это очень топорный подход, который сработает только когда бизнес-показатели не зависят от времени и нововведение лишь одно. Обычно это не так. Бизнес растет или угасает, бывает «сезон» и «не сезон». Бывает очень много изменений за месяц, и понять, какое именно из них вызвало эффект, невозможно. Однако многие вещи в коммерческих компаниях (даже самых технологичных) и в 2020 году делаются без А/В тестирования. А еще больше — без оценки статзначимости. К А/В тестам не нужно относиться теологически, но стоит понимать силу и возможности инструмента.
Что такое статистическая значимость и A/A тесты?
Допустим, нет пока никакого нововведения, которое вы будете оценивать в А/В тесте, есть пользователи вашего сайта или приложения, и вы просто делите их на две группы и смотрите на результат в каждой (например, на конверсию посещений в покупки на сайте). Такой тест называется А/А тестом, и, наверное, вас не удивит, что даже при хорошем разбиении на группы результаты в них будут немного отличаться.
Статистическая значимость эффекта в А/В тесте, грубо говоря, означает, что различие между группами заметно больше, чем было бы в А/А тесте, т.е. «есть реальный эффект», а не случайные отклонения. Что это значит для бизнеса? То, что хотя бы при сохранении тех же условий, что и во время проведения А/В теста, эффект от нововведения с большой вероятностью будет какое-то время сохраняться (важное уточнение: эффект может затухать со временем, никто не отменял «эффект новизны»).
Итак, победил вариант «Простыми словами про статзначимость в А/В тестах». Разбил ответ на три части: введение, непосредственно по теме и некоторые интересные моменты, которые тоже полезно обсудить. Кто знает ответы на вопросы, выделенные полужирным шрифтом в этом посте, могут просто пролистать его и переходить сразу ко второму.
Зачем вообще нужны А/В тесты?
Потребность в А/В тестах возникает тогда, когда мы хотим что-то улучшить. Например, взамен какого-то существующего алгоритма персональных рекомендаций товаров или старого интерфейса мобильного приложения внедрить новую версию. А/В тесты как метод отвечают на вопрос: «Как понять, что это правда будет улучшать важные для нас показатели?»
Посмотреть «стало ли продаж больше» и удовлетвориться такой оценкой нововведения — это очень топорный подход, который сработает только когда бизнес-показатели не зависят от времени и нововведение лишь одно. Обычно это не так. Бизнес растет или угасает, бывает «сезон» и «не сезон». Бывает очень много изменений за месяц, и понять, какое именно из них вызвало эффект, невозможно. Однако многие вещи в коммерческих компаниях (даже самых технологичных) и в 2020 году делаются без А/В тестирования. А еще больше — без оценки статзначимости. К А/В тестам не нужно относиться теологически, но стоит понимать силу и возможности инструмента.
Что такое статистическая значимость и A/A тесты?
Допустим, нет пока никакого нововведения, которое вы будете оценивать в А/В тесте, есть пользователи вашего сайта или приложения, и вы просто делите их на две группы и смотрите на результат в каждой (например, на конверсию посещений в покупки на сайте). Такой тест называется А/А тестом, и, наверное, вас не удивит, что даже при хорошем разбиении на группы результаты в них будут немного отличаться.
Статистическая значимость эффекта в А/В тесте, грубо говоря, означает, что различие между группами заметно больше, чем было бы в А/А тесте, т.е. «есть реальный эффект», а не случайные отклонения. Что это значит для бизнеса? То, что хотя бы при сохранении тех же условий, что и во время проведения А/В теста, эффект от нововведения с большой вероятностью будет какое-то время сохраняться (важное уточнение: эффект может затухать со временем, никто не отменял «эффект новизны»).
Статзначимость в А/В тестах (часть 2/3)
Как проверяют гипотезы с помощью статистики
Рассмотрим простой пример: мы с другом 10 раз сыграли в шахматы, и он 10 раз победил, какова вероятность такого исхода, если мы с ним играем одинаково хорошо?
Если мы одинаково хороши, шанс выиграть у каждого 0.5, значит мой шанс проиграть все 10 игр был 0.5 в степени 10, т.е. около 0.001. Выглядит как не очень вероятное событие, придется признать, что друг все-таки играет лучше. Ровно так же мы будем делать и при проверке того, что между группами А и В в А/В тесте есть статзначимые различия.
Как работает проверка статзначимости в А/В
Работает это так: предположим, что у нас есть какое-то нововведение (новое оформление, новый интерфейс, новый алгоритм рекомендаций), и мы проводим А/В тест. А вот эффекта от нововведения нет и различия между группами на самом деле нет. Это в статистике называется «нулевой гипотезой» — тем, что мы в А/В тесте в идеале хотим отвергнуть.
Предположив, что нулевая гипотеза выполняется (статистически различия между группами нет), мы можем оценить, с какой вероятностью p можно увидеть разность показателей в группах больше, чем Y (тысяч долларов выручки, например). Как это сделать? Например, взять наши данные, много раз случайно разбить их на две группы и посмотреть, в каком проценте случаев различие между группами окажется больше Y. За счет случайности разбиений, даже если эффект в вашем разбиении на группы А и В был, в новых группах его не будет (т.к. пользователи случайно перемешаются), и можно считать это хорошей оценкой вероятности p.
Если вероятность p оказалась очень маленькой, значит разница в группах все-таки существенная.
И что, всегда делать несколько тысяч случайных разбиений?
Приведенный выше пример с моделированием А/А тестов — это лишь один из используемых на практике стат.критериев — перестановочный тест (с некоторыми оговорками, но не будем сейчас вдаваться в детали). По многим показателям этот стат.критерий не самый удобный, но зато очень просто иллюстрирует концепцию проверки гипотез.
В жизни же во многих случаях можно обойтись без численного моделирования и применить какие-то параметрические стат.тесты (те, в которых распределение величины Y, если нулевая гипотеза верна, выписывается явно формулой). Например, если мы считаем, что наша величина Y имеет нормальное распределение, то можно без численных экспериментов обойтись формулами для нормального распределения. На самом деле, не совсем, надо хотя бы проверить, что распределение правда нормальное, но на этом тоже не будем останавливаться.
Главное — получить распределение Y, при условии нулевой гипотезы. Численно, либо по формуле в рамках каких-то предположений. В нашем примере с шахматами тоже использовался параметрический тест — биномиальный.
Как понять, что вероятность p «мала» и что такое p-value?
Величина p в статистике называется p-value. Перед проведением любого А/В теста фиксируют уровень значимости, например 5%, и отвергают нулевую гипотезу только если p-value оказывается меньше уровня значимости. Т.е. мы допускаем вероятность 5% сказать, что эффект есть, когда его на самом деле нет. А/В тесты, к сожалению, вещь вероятностная, поэтому «точного» ответа на вопрос «есть ли эффект» не дают, только могут подтвердить его на каком-то уровне значимости. Само p-value в русской литературе называют достигаемым уровнем значимости (не путать с уровнем значимости выше — он был порогом, с которым сравниваем p-value).
Как проверяют гипотезы с помощью статистики
Рассмотрим простой пример: мы с другом 10 раз сыграли в шахматы, и он 10 раз победил, какова вероятность такого исхода, если мы с ним играем одинаково хорошо?
Если мы одинаково хороши, шанс выиграть у каждого 0.5, значит мой шанс проиграть все 10 игр был 0.5 в степени 10, т.е. около 0.001. Выглядит как не очень вероятное событие, придется признать, что друг все-таки играет лучше. Ровно так же мы будем делать и при проверке того, что между группами А и В в А/В тесте есть статзначимые различия.
Как работает проверка статзначимости в А/В
Работает это так: предположим, что у нас есть какое-то нововведение (новое оформление, новый интерфейс, новый алгоритм рекомендаций), и мы проводим А/В тест. А вот эффекта от нововведения нет и различия между группами на самом деле нет. Это в статистике называется «нулевой гипотезой» — тем, что мы в А/В тесте в идеале хотим отвергнуть.
Предположив, что нулевая гипотеза выполняется (статистически различия между группами нет), мы можем оценить, с какой вероятностью p можно увидеть разность показателей в группах больше, чем Y (тысяч долларов выручки, например). Как это сделать? Например, взять наши данные, много раз случайно разбить их на две группы и посмотреть, в каком проценте случаев различие между группами окажется больше Y. За счет случайности разбиений, даже если эффект в вашем разбиении на группы А и В был, в новых группах его не будет (т.к. пользователи случайно перемешаются), и можно считать это хорошей оценкой вероятности p.
Если вероятность p оказалась очень маленькой, значит разница в группах все-таки существенная.
И что, всегда делать несколько тысяч случайных разбиений?
Приведенный выше пример с моделированием А/А тестов — это лишь один из используемых на практике стат.критериев — перестановочный тест (с некоторыми оговорками, но не будем сейчас вдаваться в детали). По многим показателям этот стат.критерий не самый удобный, но зато очень просто иллюстрирует концепцию проверки гипотез.
В жизни же во многих случаях можно обойтись без численного моделирования и применить какие-то параметрические стат.тесты (те, в которых распределение величины Y, если нулевая гипотеза верна, выписывается явно формулой). Например, если мы считаем, что наша величина Y имеет нормальное распределение, то можно без численных экспериментов обойтись формулами для нормального распределения. На самом деле, не совсем, надо хотя бы проверить, что распределение правда нормальное, но на этом тоже не будем останавливаться.
Главное — получить распределение Y, при условии нулевой гипотезы. Численно, либо по формуле в рамках каких-то предположений. В нашем примере с шахматами тоже использовался параметрический тест — биномиальный.
Как понять, что вероятность p «мала» и что такое p-value?
Величина p в статистике называется p-value. Перед проведением любого А/В теста фиксируют уровень значимости, например 5%, и отвергают нулевую гипотезу только если p-value оказывается меньше уровня значимости. Т.е. мы допускаем вероятность 5% сказать, что эффект есть, когда его на самом деле нет. А/В тесты, к сожалению, вещь вероятностная, поэтому «точного» ответа на вопрос «есть ли эффект» не дают, только могут подтвердить его на каком-то уровне значимости. Само p-value в русской литературе называют достигаемым уровнем значимости (не путать с уровнем значимости выше — он был порогом, с которым сравниваем p-value).
Статзначимость в А/В тестах: дополнительные вопросы (часть 3/3)
Я слышал, что p-value — это не вероятность нулевой гипотезы, что это значит?
Все верно, это известная бородатая ошибка при интерпретации p-value. P-value — это не вероятность нулевой гипотезы, а вероятность увидеть в тесте такой же «эффект» или больше, при условии справедливости нулевой гипотезы (т.е. когда эффекта на самом деле нет). От этого можно перейти к вероятности нулевой гипотезы, при условии наблюдаемого эффекта по теореме Байеса, если вдруг вы будете знать все нужные для формулы вероятности, но нужды в этом нет.
А еще я слышал, что нулевую гипотезу нельзя принять, о чем это?
В А/В тесте мы хотим отвергнуть нулевую гипотезу, посмотрев на фактические данные. Но можем не отвергнуть. Подтвердить нулевую гипотезу не можем: если нам не хватает свидетельств против чего-то, это еще не значит, что это что-то верно 🙂
Бытовая иллюстрация:
Старушка на лавочке у подъезда выбирает, как поприветствовать Васю. В качестве нулевой гипотезы она принимает утверждение, что Вася обычный парень. А в качестве альтернативы — что Вася наркоман. Чтобы выбрать доброжелательное или агрессивное приветствие, она оценивает, насколько Вася плохо выглядит сегодня. Если «еще терпимо», то заключает, что свидетельств против нулевой гипотезы не хватает и нужно приветствовать доброжелательно. В этом случае она, однако, не может быть уверена, что Вася не наркоман, т.е. принять нулевую гипотезу. Но как вдумчивая и образованная пожилая женщина, не спешит с выводами и собирает данные.
Везде выше постоянно говорилось о каком-то статистическом различии между результатами в группах А/В, которое либо есть, либо нет. А что это значит?
Вот здесь мы вступаем на территорию более сложных формулировок. Если объяснять это не на бытовом уровне, то вы сами выбираете смысл «статистического различия» при формулировке нулевой гипотезы и альтернативы. Например, если мы сравниваем средние чеки в группах А и В, то под «статистически неразличимыми» результатами мы можем иметь ввиду одинаковое матожидание среднего чека в группе А и в группе В. Это будет нулевой гипотезой. Альтернативой — различные матожидания. Есть критерии, которые в качестве нулевой гипотезы рассматривают совпадение медиан распределений или просто совпадение распределений.
А еще слышал что-то про множественную проверку гипотез? Это о чем?
Это о том, что если вы проверяете одновременно несколько гипотез на уровне значимости, скажем, 5% каждая (например, оцениваете эффект сразу и на средний чек, и на конверсию в покупку, и на конверсию в переход на страницу товара), то шанс ложного срабатывания теста хотя бы для одной гипотезы будет уже не 5%, а существенно больше. Есть разные способы учитывать этот эффект.
Я слышал, что p-value — это не вероятность нулевой гипотезы, что это значит?
Все верно, это известная бородатая ошибка при интерпретации p-value. P-value — это не вероятность нулевой гипотезы, а вероятность увидеть в тесте такой же «эффект» или больше, при условии справедливости нулевой гипотезы (т.е. когда эффекта на самом деле нет). От этого можно перейти к вероятности нулевой гипотезы, при условии наблюдаемого эффекта по теореме Байеса, если вдруг вы будете знать все нужные для формулы вероятности, но нужды в этом нет.
А еще я слышал, что нулевую гипотезу нельзя принять, о чем это?
В А/В тесте мы хотим отвергнуть нулевую гипотезу, посмотрев на фактические данные. Но можем не отвергнуть. Подтвердить нулевую гипотезу не можем: если нам не хватает свидетельств против чего-то, это еще не значит, что это что-то верно 🙂
Бытовая иллюстрация:
Старушка на лавочке у подъезда выбирает, как поприветствовать Васю. В качестве нулевой гипотезы она принимает утверждение, что Вася обычный парень. А в качестве альтернативы — что Вася наркоман. Чтобы выбрать доброжелательное или агрессивное приветствие, она оценивает, насколько Вася плохо выглядит сегодня. Если «еще терпимо», то заключает, что свидетельств против нулевой гипотезы не хватает и нужно приветствовать доброжелательно. В этом случае она, однако, не может быть уверена, что Вася не наркоман, т.е. принять нулевую гипотезу. Но как вдумчивая и образованная пожилая женщина, не спешит с выводами и собирает данные.
Везде выше постоянно говорилось о каком-то статистическом различии между результатами в группах А/В, которое либо есть, либо нет. А что это значит?
Вот здесь мы вступаем на территорию более сложных формулировок. Если объяснять это не на бытовом уровне, то вы сами выбираете смысл «статистического различия» при формулировке нулевой гипотезы и альтернативы. Например, если мы сравниваем средние чеки в группах А и В, то под «статистически неразличимыми» результатами мы можем иметь ввиду одинаковое матожидание среднего чека в группе А и в группе В. Это будет нулевой гипотезой. Альтернативой — различные матожидания. Есть критерии, которые в качестве нулевой гипотезы рассматривают совпадение медиан распределений или просто совпадение распределений.
А еще слышал что-то про множественную проверку гипотез? Это о чем?
Это о том, что если вы проверяете одновременно несколько гипотез на уровне значимости, скажем, 5% каждая (например, оцениваете эффект сразу и на средний чек, и на конверсию в покупку, и на конверсию в переход на страницу товара), то шанс ложного срабатывания теста хотя бы для одной гипотезы будет уже не 5%, а существенно больше. Есть разные способы учитывать этот эффект.