Если вы работаете с данными и вам интересно, что происходит на западном рынке, то вам будет интересно почитать канал Инжиниринг Данных, который ведет Дмитрий. Последние 5 лет он работал в Амазон в Канаде и США, где занимался созданием аналитических (big data +ML) решений для Amazon Marketplace в департаменте Customer Behaviour Analytics и Alexa AI в роли Инженера Данных.

Дмитрий пропагандирует современные аналитические решения и облачные вычисления (cloud computing). Он часто выступает на конференциях в Северной Америке и написал 7 книг.

Так же сейчас он создает бесплатный ресурс по обучению с 0 профессиям Data Engineer, Analytics Engineer, BI Engineer - https://www.datalearn.ru/ (регистрируйтесь), где хочет любому желающему помочь освоить профессию и научить работать с данными. Курс будет полезен не только инженерам, но и аналитикам, рекрутерам и менеджерам. На курсе вы получите знания, которые востребованы по всему миру и познакомитесь с самыми современные аналитическими решения и поймете, почему компании так много времени и сил тратят на сбор и анализ данных.

Макс Гапчук сделал прикольный чеклист по новому га4, с красивой графикой)

А ещё, он сделал мини-курс, где рассказывает о возможностях инструмента, тем, кому интересен га4, прям рекомендую подписаться;

Одна из возможностей применения arima (писал тут) на базе ga4.

Суть этой штуки в том, что на базе исторических данных (скажем последний месяц), вы можете предсказывать поведение какого-нибудь показателя (сессии, коэффициента конверсии, количество транзакций) в разбивке по параметрам (источник трафика, кампания) на вчера.

И сравнить реальное значение этого показателя на вчера, с предсказанным, и если они значительно отклоняются, то можно бить тревогу, что-то пошло не так.

Классный способ автоматизировать контроль за рекламой, 404 страницами, сбоями на сервере и всего такого.

Например, в своих проектах, в случае, если изменение значимое, я шлю данные сразу в телеграм)

https://bit.ly/36MotB8

myTracker запустила антифрод-систему – Fraud Scanner. Она анализирует установки приложения по 16 параметрам и выявляет все основные виды мошенничества.

Разработчики приложений смогут повысить эффективность вложений в продвижение: отказаться от сотрудничества с недобросовестными партнерами и привлекать только качественный трафик в приложения.

Рекламодатель сможет посмотреть данные по каждому параметру. Fraud Scanner не отсеивает мошеннические установки автоматически, а отмечает их. Это позволяет разработчикам и маркетологам самим решать, как поступить с невалидным трафиком и стоит ли приостановить работу с партнером, замеченным в недобросовестных действиях.

Первые тесты показали, что технологии могут выявлять даже сложные комбинированные виды фрода, например перехват установок. Кроме того, подключение антифрод-системы в среднем позволило приложениям в разных категориях сэкономить более 10% бюджета на продвижение.

25 ноября в 11:00 по Москве эксперты платформы также проведут вебинар, в рамках котрого расскажут о мобильном фроде и способах борьбы с ним.

https://tracker.my.com/promo/antifraud-webinar

Занимательный факт: из 100 интернет-магазинов, только 5 знают, как работать с аналитикой. Остальные 95 совершают ошибки, которые приводят к некорректным данным, брошенным корзинам и снижению продаж.

9 декабря 2020 года, 11:00 по Москве эксперт по сквозной аналитике Calltouch Павел Мрыкин проведет бесплатный вебинар, где расскажет, как не совершать ошибки в настройке аналитики для e-commerce и разберет реальные сайты.

Участие бесплатное, регистрация по ссылке: https://bit.ly/2HmBfhm

Клевый и подробный обзор того, как настроить ga4 от Julius Fedorovicius (analyticsmania)

https://youtu.be/ekp6dcCXXb8

И блог у них хороший, рекомендую подписаться
https://www.analyticsmania.com/blog/

В google cloud появился свой инструмент для Orchestrate http based API services — Workflows, такой себе airflow на минималках, с конфигами на yaml файлах.

Вот, хороший обзор продукта от Mete Atamel из Google.

От себя добавлю, что Workflows должен классно вписаться в задачи по автоматизации маркетинга, особенно, где шагов будет несколько, особенно в плане интеграции bigquery c различными почтовыми сервисами и тому подобное.

Konstantin Gupalov решил разобраться с тем, как использовать FB Prophet в связке с Python.
А на выходе написал базовый гайд для быстрого старта, в котором он разбирается, как можно предиктить органический трафик на сайте с помощью этой библиотеки.

Или, вот еще пример решения на базе Prophet для bigquery для прогнозирования загрезнения воздуха.

Денис Соловьев @ds_im, только что закончил доклад про аналитическое решение в облаке google. Очень крутой и современный доклад, с которым можно выступать на конференции в Америке или Европе. Денис проделал большую работу и теперь может строить масштабируемых и эффективные решения в облаке. Если вы несмотрели доклад, обязательно рекомендую! Запись осталась на ютубе https://youtu.be/mqE6Q3WmoCU

Немного разбавим наш серьезный канал юмором)

​​Google представил базовый вводный онлайн-курс по #GA4. Он короткий, бесплатный, на русском языке и в виде интерактивной инфографики. Подойдет для всех, кто хочет начать изучение возможностей системы и отличий от предыдущих версий.

https://bit.ly/37uVUc6

via @WebAnalyst

Сегодня можно будет посмотреть dbt101 на английском. Важный элемент экосистемы инженера данных, можно не использовать, но надо знать, что это такое.

Макс Гапчук сделал обзор всех возможностей по созданию конверсий в га4, особенно прикольная штука, это конверсии из сегментов, те можно задать не одно действие, как конверсию, а цепочку. Раньше такое можно было сделать только в гтм.

https://analytics-tips.com/set-up-conversions-in-ga4/

Конференция Coalesce от dbt: что посмотреть?

С 7 по 11 декабря проходила конференция Coalesce, о которой я рассказывал ранее. В этом году все организаторы решили проводить конференции по 5 дней с кучей докладов.
С одной стороны это плюс — ощущение, что информации много и можно выбрать, что интересно. С другой стороны такое количество информации несколько изматывает, потому что часто по названию доклада не очень понятно насколько он окажется полезным и интересным. Мне все же кажется, что более трех дней для конференции это много, т.к. интерес аудитории теряется, да и необходимость заниматься своими личными и профессиональными делами не может испариться из-за события, которое хоть и в онлайне, но занимает твое внимание.

Однако мне удалось посмотреть большую часть докладов, кое-что пролистывая. Для начала коротко в целом о впечатлениях: очень круто изучать доклады с подобной конференции как Coalesce, потому что речь идет в основном о современных инструментах и облачных решениях. Почти в каждом докладе можно услышать про Redshift / BigQuery / Snowflake, а с точки зрения BI: Mode / Tableau / Looker / Metabase. В центре всего, разумеется, dbt.

Мой шорт-лист докладов, которые рекомендую изучить:

* dbt 101 dbt 101 — вводный доклад и интро в то, что такое dbt и как его используют
* Kimball in the context of the modern data warehouse: what's worth keeping, and what's notKimball in the context of the modern data warehouse: what's worth keeping, and what's not — интересный и очень-очень спорный доклад, который вызвал массу вопросов в slack dbt. В кратце, автор предлагает перейти на "широкие" аналитические таблицы и отказаться от нормальных форм всюду.
* Building a robust data pipeline with dbt, Airflow, and Great ExpectationsBuilding a robust data pipeline with dbt, Airflow, and Great Expectations — в докладе про небезынтересный инструмент greatexpectations, суть которого в валидации данных
* Orchestrating dbt with DagsterOrchestrating dbt with Dagster — мне было несколько скучновато слушать, но если хочется познакомиться с Dagster - самое то
* Supercharging your data teamSupercharging your data team — ребята сделали обертку к dbt, назвали dbt executor 9000 и рассказывают о нем
* Presenting: SQLFluffPresenting: SQLFluff — про очень классную штуку SQLFluff, которая автоматически редактирует SQL-код согласно канонам
* Quickstart your analytics with Fivetran dbt packagesQuickstart your analytics with Fivetran dbt packages— из доклада можно узнать, что такое Fivetran и как его используют совместно с dbt
* Perfect complements: Using dbt with Looker for effective data governancePerfect complements: Using dbt with Looker for effective data governance — про взаимодействие dbt и looker, про различия и схожие части инструментов

@leftjoin

Будущее рядом — освой профессию Data Scientist

Раньше мы с интересом смотрели фильмы про искусственный интеллект и гадали, как же это пришло в голову сценаристам и режиссёрам.
Но в реалиях настоящей жизни искусственный интеллект — это реальность, которая стремительно врывается в нашу жизнь. Незаменимый помощник Data Scientist — специалист по машинному обучению, который выбирает архитектуру и обучающие алгоритмы, для работы с этими данными.

И у тебя как раз есть шанс стать тем самым незаменимым специалистом благодаря курсу от Skillbox «Профессия Data Scientist».

На курсе тебе предстоит научиться очень многим интересным вещам: от программирования на Python и визуализации данных до программирования на R и применения нейронных сетей для решения реальных задач.
Skillbox даёт возможность сначала уделить время обучению, а заботы с оплатой можно отложить на полгода.

После прохождения курса не стоит переживать о том, где найти работу. Эти заботы берут на себя опытные HR-специалисты.

Открой мир будущего — переходи по ссылке ▶️ https://clc.to/W5x3uA и бронируй место на курсе только в декабре со скидкой до 60%.

Cообщество аналитиков KZ BI community и сообщество project-менеджеров Projects_KZ организуют бесплатный онлайн MeetUp, где поговорим о Data Science с экспертами своего дела 😍👍
⠀
🕐Дата/время: 26 декабря с 18.00 до 19.20 времени Алматы
📹Формат: Zoom-конференция
⠀
📌Программа:
⠀
🔹18.00 - 18.40 Валерий Бабушкин:
⠀
- Директор по моделированию и анализу данных в Х5 Retail Group
- Руководитель группы аналитики в Яндексе
- Приглашенный преподавателем в НИУ ВШЭ
- 23-й в мировом рейтинге специалистов по машинному обучению - https://www.kaggle.com/venheads
⠀
📚Тема: Зачем крупнейшему ритейлу в России нужны сотни Дата Саентистов
⠀
🔹18.40 - 19.20 - Асхат Уразбаев
Agile Coach, основатель ScrumTrek & LeanDS
⠀
📚Тема: Канбан для управления BI командой
⠀
Ссылка на регистрацию: https://docs.google.com/forms/d/15LVsytbmzDvdgMSVIXkWY5N06g_ZFRhIruGFL6tEBeo/viewform?edit_requested=true

​​Хорошее руководство по работе с данными Google Analytics 4 или Firebase с примерами SQL-запросов.

@BigQuery

Все подбивают итоги года, и в том числе Яндекс.Метрика и AppMetrica. Посмотрим, что нового и интересного появилось у сервисов.

Начнем с возможности интеграции Метрики с внешними рекламными сервисами, включая Google ads, такая возможность позволяет в одном интерфейсе анализировать расходы в целом на маркетинг, включая и ROAS отчеты, что в наше время просто must have.

В в AppMetrica это новые отчеты по Ecommerce для более глубокого анализа продуктов и поведения пользователей. Теперь можно получить ответы на вопросы "Где можно поднять цену или наоборот, сделать скидку?" или "На каком этапе пути к корзине пользователи теряются?".

Год уже почти заканчивается, и самое время подвести итоги и посмотреть в будущее. Давай-те вспомним, что интересного у нас появилось в 2020 году.

Конечно самым ярким моментом 2020 стал выход из беты app+web (теперь google analytics 4). На мой взгляд, это следущий шаг в мобильной и веб-аналитике, инструмент, который позволяет воспринимать сайты/приложения и все остальное, просто как витртину одного целого, через которую бизнес взаимодействует с пользователем. И кросс-девайс анализ сильно упрощается. А вместе с простой и бесплатной интеграцией с google bigquery, эти данные становятся доступными большему числу специалистов.

Apple и Google, заботясь о нас, о пользователях, начинает ограничивать возможности идентификации пользовательских устройств. Third party cookies уберут, что сильно отразится на ремаркетинге, как таковом, first party cookies будут меньше жить, а скоро, для некоторых браузеров будет возможность их устанавливать только серверно. Вот вот скоро, у нас не будет idfa и, видимо, будут проблемы с fingerprint для apple устройств, что вряд ли положительно скажется на нашем понимании эффективности рекламных размещений.

Google запустил server side gtm, который позволит, по крайней мере, на время, решить проблему с куками на веб-сайтах, и уменьшить количество запросов с клиента, а значит ускорить работу сайта, что в последнее время все важнее для поисковых алгоритмов.

Судя по всему, в следующем году, акценты в маркетинге, будут смещаться в сторону более сложных аналитических решений основанных на работе с большими данными и различным решениям и алгоритмам позволяющим лучше понимать и работать с уже привлеченной аудиторией. Direct marketing и автоматизация будут новым королем) Кстати, Maksym Slobodianiuk, сделал офигительный курс по автоматизации, всякие там active campaigns и как интегрировать всё-всё, прям рекомендую.

А какие новинки, были актуальны для вас в 2020 году? И как вы думаете, куда мы все идем? Пишите в комментариях)