Size: a a a

ProductSense Chat

2021 April 17

VM

Vladimir Merkushev in ProductSense Chat
Google Optimize забыли. Не самое лучшее, но очень доступно и интегрировано в GA. Иногда используем его, иногда инхаус разработку, когда нужно сложную логику разделения на группы применить. У вас какие задачи?
источник

VV

Victor Volkov in ProductSense Chat
Подготовить продукт к тому, чтобы можно было легко запускать множество А/В тестов
источник

VM

Vladimir Merkushev in ProductSense Chat
Сейчас уже проводите А/В тесты?
источник

VV

Victor Volkov in ProductSense Chat
Еще нет
источник

VM

Vladimir Merkushev in ProductSense Chat
Тогда я советую попробовать что-то простое, чтобы просто внедрить тестирование в процесс продуктовой разработки. Тот же Google Optimize. А дальше уже идти в сторону масштабирования.

Плюс стоит помнить, что для одновременных а/в нужно довольно много трафика. А если фича не для всех, то и десятков миллионов MAU не всегда хватает, чтобы тест занял адекватное время (2-4 недели)
источник

VV

Victor Volkov in ProductSense Chat
то есть Firebase ?
источник

VM

Vladimir Merkushev in ProductSense Chat
Кстати, есть ещё методы быстрой проверки гипотез через a/b, например тестирование переплетением. Говорят активно применяют в Booking: https://t.me/vladimir_merkushev/989

Сами пока не пробовали, но выглядит круто 💪🏻
Telegram
Продукторий Владимира Меркушева
Ещё больше А/В тестов

Я за последние полгода полностью прочувствовал все прелести А/В тестирования — практически все изменения, которые мы запускаем на большую аудиторию делаются через него. Очень хорошо помогает жить в условиях неопределённости, до запуска ты, как обычно, не уверен, что твоя гипотеза сработает, но зато после можно четко сказать что и на сколько изменилось.

Вопрос в том когда это «после» наступит и как можно уменьшить его сроки. В A/B тестировании нет магии и для определенного значимого изменения метрики вам нужно определенное количество наблюдений. Другими словами — нам надо подождать Х дней, чтобы охватить Y пользователей и получить статистическую значимость теста. А если таких тестов нужно делать несколько в месяц?

Вариант решения — тестирование переплетением. Я слышал выступление Андрея Менде из Букинга на одной конференции, а теперь оно появилось и на платформе Epic Growth. Андрей занимается ранжированием выдачи отелей, а это выбор 1-2% предложений, которые сможет просмотреть клиент…
источник

VM

Vladimir Merkushev in ProductSense Chat
Да, если у вас мобильное приложение. Google Optimize вроде только для веба.
источник

DC

Dima Chivlikli in ProductSense Chat
Акселераторы для этого и делают. У меня был такой опыт с ТАСС.
источник

IT

Igor Tkachenko in ProductSense Chat
Всем, привет! Есть специфический вопрос.
Представим что есть компания \ продукт у которых нет контент маркетинга.
И тут она задумывается а не начать ли делать контент, потому что это хороший способ: „пассивно” привлекать и обучать аудиторию.
Но тут есть вопрос. А как посчитать сколько контента поандобится, чтобы преодолеть трешхолд полсе которого контент начнёт работать. И как понять зависимости ивестиция \ результат? (Чтобы понять сколько еще ресурсов сверх минимума вложить в контент).

Просуммирую: как для контентной стратегии \ контента определить минимальный объем инвестиций и посчитать ROI, построить кривую вложения \ результат?
источник

АД

Артур Дунайцев... in ProductSense Chat
Контент не является частью маркетинговой активности, напрямую влияющей на ваши лиды, это раз, во-вторых, контент имеет временной ЛАГ, в-третьих, вы заранее никак не угадаете, куда и как повернется ваша стратегии после отзывов пользователей. Любое планирование тут - пальцем в небо, доверять этим цифрам и строить на из основе модели - самообман
источник

АД

Артур Дунайцев... in ProductSense Chat
При таком количестве неизвестных вам может помочь только матмодель с машинкой, и то через годик, и вот тогда цифруйте. А в начале воспринимацте это как канал общения с аудиторией, не приносящий бабок, а как стратвложение
источник

DD

Dmitrii Dyago in ProductSense Chat
Как любитель все оценивать и измерять затриггерился с этого поста)
Но в целом не могу не согласиться, пока не знаю, как хорошо измерять это.

По топику: здесь есть история успеха с довольно маленькими вложениями, но там и кейс специфичный.
https://vc.ru/marketing/66268-marketing-na-200-kak-privlech-tysyachi-polzovateley-so-vsego-mira-pri-minimalnyh-zatratah
источник

АД

Артур Дунайцев... in ProductSense Chat
Че тут триггриться. 60000 неизвестных, хоть замоделируйтесь и заоценивайтесь, статистически значимыми ваши оценки не будут ни при каких условиях. Даже не будут попадать в любые сглаживания (Из-за количества неизвестной херни). А даже если такую модель удастся построить, то технологически вам не хватит ресурса её посчитать или этот ресурс будет стоить как крыло от самолёта. Есть контент и силы делать? Делайте, пригодится. Нету - не делайте. Оцените потом в процессе
источник

DD

Dmitrii Dyago in ProductSense Chat
Если медиана окупаемости после инвестиций где-то в районе $300к - зачем браться? Порядок всегда можно оценить, для этого не нужны кучи неизвестных.

> Есть контент и силы делать?
Вот здесь как раз должна быть цифра. Как понять что есть? 5 часов в неделю на это хватит, имеет смысл? Полагаю, что нет.
А имеет смысл нанять контент маркетинга в 50 фуллтайм редакторов для компании в 6 разрабов? Вряд ли.

Где-то верхний и нижний предел оценки станут реалистичными и на этом основании можно сделать вывод, что тебе делать, а что нет.
источник

GT

Gleb Tertychnyy in ProductSense Chat
Кроме количества ещё критично качество, авторы и каналы дистрибуции.
Я бы не начинал с бюджетом меньше $0.5 млн. на год и не ждал бы результатов раньше, чем через 9-10 месяцев.
Но их может не быть и никогда.
источник

IT

Igor Tkachenko in ProductSense Chat
Всем, спасибо. Интересные мысли. Вот у меня с вами совпадает:
1. Модель для оценки слишком сложная
2. Какой-то коридор значений все равно нужен чтобы понять на какой минимальный бюджет расчитывтаь чтобы был смысл.
источник

АД

Артур Дунайцев... in ProductSense Chat
Зависит всегда от того, кто ведёт контент, как ведёт и где умеет. У меня есть пример при почти 0 вложений(да просто по приколу супруге знакомого) бизнес с оборотом в примерно 60млн в год вырос. А есть пример компании с оборотом в миллиард, у которой контент жрет 4 человек в месяц и приносит ничего. Так что вопрос не бюджета м не оценки. Умеетесь - беритесь, будет ок, не умеете и не понимаете, как это работает - не вкладывайте ничего
источник

АД

Артур Дунайцев... in ProductSense Chat
Про коридор все вообще просто - если нет кому сейчас вести контент самостоятельно по собственному желанию, то вообще не лезьте в это
источник

АД

Артур Дунайцев... in ProductSense Chat
Лучший удачный пример в РФ неудачного примера - всем известные котики(MadCats) . Это агенство контент-маркетмнгп, которое не окупилось, чьим основным способом привлечения клиентов был... Контент-маркетинг))) Так что есть кому вести интересно и классно контент, херачьте ютюб, дзен, блог, соцсети и прочее, и будет этот человек делать интересно и классно - будет окупаться при условии, что все остальное в маркетинге в порядке и бабки есть. Иначе - забейте и играйте в то, что умеете
источник