Неплохо. Хотел бы посмотреть. На шары. Которые иногда в гидриках катают.

Я только посмотреть

А ты существуешь разве?

Опять ты

Не интересно

Чего из руби чата выпилилась?)))

Я закончила с руби

Продолжаем на примере из практики. Есть в мса отличный паттерн bff - backend for frontend. Суть в том, что выделяем один микросервис, которые будет исключительно обслуживать наш фронт.

Далее у нас есть какой-то спроектированный user flow допустим с 3 экранными формами. Требования к формам (хотя это сложно обычно назвать требованиями, скорее жесткие алгоритмы элементов на экранном форме, но это в любом случае зона ответственности аналитика) и знание как там это все лежит на бэке.

Так вот моя задача как аналитика донести до разработчика, чтобы все мои требования по пользовательскому флоу выполнились и чтобы он лишнего не копался с данными в бэке, строя догадки.

А уж какие именно рест методы будут, сколько, какие там будут dto-шки мне глубоко фиолетово.

В принципе я готов взять на себя роль точно проектирования этого взаимодействия, но тогда меня не надо называть аналитиком. Как-то там

Всем привет! а тут есть люди которые могут проконсультировать по поводу проведения АВ теста, он не типовой достаточно и мне кажется что там много подводных камней, или стоит обратиться может в какой то другой чатик?

суть в чем, у нас есть много автобусных рейсов, некоторые рейсы длиннее, в некоторых больше загрузка, мы хотим сделать динамические цены на рейсы.

Мы повышаем цену на несколько рейсов, и нам надо понять было ли изменение в загрузке статистически значимо или нет, спугнула ли цена людей.

Что я думаю пока что делать:
подождал две недели, потом беру в разрезе дней данные о загрузке на этих рейсах, потом мне надо понять с чем сравнивать, надо взять значит похожие рейсы, или лучше взять в среднем по всем рейсам и с ним сравнивать? Это первый вопрос.

Второй вопрос заключается в том чем сравнивать, у меня есть два ряда чисел, есть z-метка и есть критерий хи2, они получаются у меня разные, чему верить тогда в итоге? или я не имею права сравнивать два ряда этих чисел?

Третий вопрос две недели вообще достаточно?)

еще есть критерий манна уитни чтобы проверять статистическую значимость, причем распределение не должно бы нормальным по-моему тоже подходит для моей задачки

За 2 недели люди может быть не успеют найти альтернативу, а если ее нет, то спрос не изменится

задача специфическая, т.к. во-первых, в разные периоды времени в течение года разная загрузка, еще могут быть дополнительные корреляции связанные с погодой например, или чем-нибудь еще (что-нибудь запретили или какое-то событие по определенному маршруту)

был опыт проведения подобных a/b-тестов со случайными влияниями, и это проиходило так:
- периоды тестирования одного и другого варианта сменяются один за другим, типа А - В - А - В - А - В итп пока не будет покрыт статистический значимый промежуток
- в нашем случае мы использовали периоды 2ч в течение дня, 2ч вариант А, 2ч вариант В, и так в течение пары недель, у нас данные быстрее собирались, но в вашем случае надо бы использовать во-первых побольше промежуток времени (пару месяцев примерно, но это можно рассчитать), плюс период проведения каждого варианта также длительное время

Ну допустим, автобусное расписание забито на неделю, по пн рейсы 1, 2 и 3, по вт и чт рейсы 4,5,6, по ср рейсы 7, только по чт 8 итп итп итп
и ну и можно сделать 3 дня вариант А, 3 дня вариант В, и так чередуем до тех пор, пока не получим статистически значимый результат.
чем меньше отклонение между результатами А и В, тем дольше проводить тестирование

где-то даже формулы и калькуляторы готовые есть, где можно исходя из разницы показаний посчитать стат.значимость, нужно ли больше измерений или уже хватит

Я вам за модели ну не скажу, свм плохо помню как и что в эконометрике и статистике, но первое, что вам нужно сделать это посчитать эластичность спроса на ваши рейсы. Берите базу, сразу в чистую математику лезть не стоит.

Потом когортным анализом, распределение.

И только потом по правильным когортам с известной эластичностью, уже в статистику/математику и так далее.

Спасибо за объемный ответ! Вы говорите можно рассчитать этот промежуток времени (пару месяцев) а где можно найти материалы чтобы посмотреть как это делается?

Прямо в точку, эластичность посчитать есть идея, только вот как ее считать я еще не смотрел и не знаю, если есть на примете парочка годных и понятных статеек, буду очень благодарен вам за информацию куда копать)

пока что я понимаю что можно менять цены и смотреть идет ли уменьшение статистически значимое или нет, а как это сделать без изменения цен вообще не представляю...

спасибо!

беглый гуглинг показывает много статей с базой и мат.аппаратом чтобы понять статистическую значимость результатов
ну например тут https://v-shliachkov.medium.com/сколько-надо-пользователей-чтобы-часть-2-критика-выводов-нильсена-9fe66e7fd97f

время назад где-то еще попадался калькулятор который при известном распределении может посчитать объем выборки, но распределение нам вроде как неизвестно, так что как по мне, так получили данные - посчитали есть ли значимость, если нет - то тестируем дальше