Size: a a a

Инжиниринг Данных

2020 November 23
Инжиниринг Данных
Роман подготовил следующий вебинар для вас:

Друзья, новая пушка для вас заряжена!
Во вторник (24.11.2020) в 20:00 по мск для вас вебинар в прямом эфире!
Вы просили практики или реальных кейсов, да не вопрос:)
Тема вебинара: "Как построить систему маркетинговой аналитики на Google Cloud"
План вебинара:
- Архитектура решения и её ключевые элементы;
- На что обратить внимание перед построением решения;
- Преимущества Google BigQuery при построении маркетинговой аналитики;
- Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub + Cloud Scheduler + dbt;
- Google Data Studio как средство визуализации данных;
- Пути масштабирования системы.
Спикер: Денис Соловьев.
Денис также является подписчиком нашего канала, который изучает дата инжиниринг и применяет его на практике.
Я увидел его комментарий в телеграмм канале Димы Аношина "Инжиниринг Данных" под одним из постов, плюс многие из вас его также видели и поэтому просили побольше реальных практических разборов и я просто не мог пройти мимо, написал Денису и он согласился поделиться своими знаниями, спасибо ему за это.
Да и вообще спасибо каждому из вас, радует что люди потихоньку перестают прятаться и готовы делиться знаниями среди вас очень много толковых ребят, лично я думаю что все, так что не прячьтесь со временем всех вычислю 🙂
Рекомендации как всегда: ничего не планируйте на вечер, уделите пару часов для пополнения своих знаний и заварите чаек :slightly_smiling_face:
Ну и подписывайтесь на наш ютуб канал, ставьте колокольчик и делитесь видосиками с коллегами и друзьями
https://youtu.be/mqE6Q3WmoCU
вторник (24.11.2020) в 20:00 по мск для вас вебинар в прямом эфире!
Вы просили практики или реальных кейсов, да не вопрос:)
Тема вебинара: "Как построить систему маркетинговой аналитики на Google Cloud"
План вебинара:
- Архитектура решения и её ключевые элементы;
- На что обратить внимание перед построением решения;
- Преимущества Google BigQuery при построении маркетинговой аналитики;
- Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub + Cloud Scheduler + dbt;
- Google Data Studio как средство визуализации данных;
- Пути масштабирования системы.
Спикер: Денис Соловьев.
Денис также является подписчиком нашего канала, который изучает дата инжиниринг и применяет его на практике.
Я увидел его комментарий в телеграмм канале Димы Аношина "Инжиниринг Данных" под одним из постов, плюс многие из вас его также видели и поэтому просили побольше реальных практических разборов и я просто не мог пройти мимо, написал Денису и он согласился поделиться своими знаниями, спасибо ему за это.
Да и вообще спасибо каждому из вас, радует что люди потихоньку перестают прятаться и готовы делиться знаниями среди вас очень много толковых ребят, лично я думаю что все, так что не прячьтесь со временем всех вычислю 🙂
Рекомендации как всегда: ничего не планируйте на вечер, уделите пару часов для пополнения своих знаний и заварите чаек :slightly_smiling_face:
Ну и подписывайтесь на наш ютуб канал, ставьте колокольчик и делитесь видосиками с коллегами и друзьями
https://youtu.be/mqE6Q3WmoCU
источник
2020 November 24
Инжиниринг Данных
источник
Инжиниринг Данных
Денис Соловьев @ds_im, только что закончил доклад про аналитическое решение в облаке google. Очень крутой и современный доклад, с которым можно выступать на конференции в Америке или Европе. Денис проделал большую работу и теперь может строить масштабируемых и эффективные решения в облаке. Если вы несмотрели доклад, обязательно рекомендую! Запись осталась на ютубе https://youtu.be/mqE6Q3WmoCU
источник
Инжиниринг Данных
источник
2020 November 25
Инжиниринг Данных
Ещё одно про hr:)
источник
Инжиниринг Данных
Ура! На AWS появилась возможность запускать пайплайны на Airflow.

Apache Airflow на AWS: https://aws.amazon.com/ru/blogs/aws/introducing-amazon-managed-workflows-for-apache-airflow-mwaa/
источник
Инжиниринг Данных
А вот и отклик комьюнити на это. Народ уже давно катит бочку на вендоров, что они берут open source, запаковывают его в сервис на облаке, и продают за денежку. То есть как то не комильфо. Макс это один из создателей Airflow и Superset (Preset - это коммерческая версия Superset). Он пишет, ребята, вы конечно молодцы, но вы хоть одну строчку кода там написали или планируете писать...
источник
Инжиниринг Данных
Всем привет! Я осилил статью на хабр про историю с консалтинг компанией. Это как другая жизнь, в которой не было обычных дом-работа-дом. Work Hard, Have Fun. Это было круто. Я надеюсь, что вам понравиться история, и ответит на разные вопросы, а может кому-то лично поможет. 😊
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник
2020 November 26
Инжиниринг Данных
Как написали в комментарие к предыдущему посту - решение в multicloud. Но тут бы с одним облаком разобраться. Можно как вариант в Alibaba дублировать. А в России будет колаб Mail и Yandex или Yandex и Mail, если их Сбер не купит раньше или просто не выкатит свой Sber cloud😜
источник
Инжиниринг Данных
Re:invent 2020 для GameDev. Я теперь такие ивенты не пропускаю.
источник
Инжиниринг Данных
С чего начинается (маркетинговая) аналитика…
источник
Инжиниринг Данных
Пример аналитического решения в статье - Picnic’s Lakeless Data Warehouse
источник
Инжиниринг Данных
источник
Инжиниринг Данных
DevOps для решения аналитики это не просто. Требует время, чтобы привыкнуть. Я рад, что сейчас есть возможность использовать Azure DevOps и все data pipelines, таблицы и тп, все в git. Но пока ещё не привык как это все работает. Но это важно и это best practices. Храните ваши SQL и код в git. Сделайте это частью рутины.

А MLOps это ещё сложней. Вот будет вебинарчик с экспертами.
источник
Инжиниринг Данных
Для datalearn хотим сделать вебинар для новичков про git. Чтобы люди поняли как им пользоваться. На примере простых сценариев, SQL/Python, и объяснить очень простым языком, почему это удобней, чем хранить файлы с v1,v2,v2.1 и тп. Чтобы люди смогли начать использовать это каждый день. Есть желающие?! Напишите @rspon
источник
2020 November 27
Инжиниринг Данных
Так, понятно всем нужен вводный урок по git. Есть ли инструктор, кто сможет рассказать? Пишите @rspon
источник
Инжиниринг Данных
Про внедрение BI.
источник
Инжиниринг Данных
Про мировые проблемы и как данные помогают с ними бороться.
источник