Всем привет! Возникла острая необходимость въехать в dbt поглулбже, накидайте пожалуйста в комменты материалов.

У нас новый перевод от Ольги Расторгуевой - Почему каждому Дата-сайентисту нужен Инженер данных? Очень актуальная тема!

Про Олю:  
Меня зовут Ольга. Я в аналитике уже 10 лет. Начинала с «классического» экономиста-аналитика (бюджетирование, прогнозирование, финансы). А сейчас я аналитик данных в компании Макси (это крупный продуктовый ритейлер Северо-Запада). Поэтому активно углубляю свои знания в сфере DA. Плюс интересуюсь DE и DS, но больше для общего развития - так сказать, хочется видеть картину целиком))

Лайки и комменты плиз! 🥺

10 ноября день милиции и мой день рождения🎉😜

Мы тут недавно обсуждали зарплату от Новартис для middle-senior до 270т. Вопрос было это мало или много? Как я писал в комментариях стек технологий и перспективы тоже важная переменная в уравнении. Вот например мне скинули чатик вакансий @datajobschannel (не реклама), в котором была вакансия на Senior Data Engineer с зп 400 000т🤑 в компанию ACHA и требованием опыта от 3х лет🧐. И как-то я видел вакансию на hh - 450 000🤑 за старшего инженера данных.

Вопрос, 400т это много или достаточно? На самом деле все относительно, если кто-то работает за US$ из РФ или Украины, то у них уже зарплата 6т-8т+$, и возможно они купили патент для ИП с фикс прайсом за налоги (была хорошая дискуссия на эту тему в нашем чатике, про патент, его цену и назначение).  А может быть у вас проект в UK со ставкой 100 фунтов в час. Поэтому все очень относительно.

Но факт остается фактом, сейчас за дату готовы платить, поэтому можно учится и пробовать свои силы в data engineering, data science, business intelligence.

А ниже я скину свежий отчет по рынку из US - Tech Salary Guide 2022 (спасибо Даше из Ванкувера за документ, она кстати ботает Data Science программу по 10-12 часов в день без выходных, и вроде есть результат, правда 3ое детей маму потеряли)

ЗП какие-то смешные там от 60т$ до 100т$ в год🥱, прям смешные какие-то, где цифры в 250т$, 350т$ в год?))

🚀 Мы приглашаем специалистов по системному анализу уровня Middle/Senior/Lead с опытом работы от 2 лет стать частью команды EPAM Anywhere.

Пройди техническое интервью и в течение 48 часов получи оффер от EPAM Anywhere, а также бонус до 300 000 руб. после присоединения к нашей команде!

🔸 Бонус для специалиста уровня Middle - 150 000 руб.
🔸 Бонус для специалиста уровня Senior - 225 000 руб.
🔸 Бонус для специалиста уровня Lead - 300 000 руб.
Сумма бонуса фиксирована независимо от оклада.

Хочешь узнать больше?
Заполни регистрационную форму и узнай о платформе EPAM Anywhere и Systems Analysis Hiring Sprint!
🎯 Зарегистрироваться -> https://epa.ms/dcMIs

PS Пост поддержал приют для собак в Ногинске instagram.com/priut_noginsk_help/

Из всех датаблогеров этот товарищ мой любимый. Умеет он просто и понятно рассказать. В этом видео про databricks он рассказал про новую feature, которая позволяет нам очень просто создавать Python библиотеки, вместо того, чтобы запускать другой ноутбук, в котором у нас стандартные функции.

Но он хорошо показал, как выглядит стандартный процесс вне databricks, с использование Setup Tools и Wheel. Я про это даже и не знал и никогда не использовал (первая половина видео, очень понятно и полезно).

Ну что есть среди подписчиков модники и геймеры? Вот для вас предложение!

Все курсы AWS бесплатно online. Интересно как там с досутпом к AWS и кредитами на обучение. https://www.amazon.com/s?rh=p_27%3AAWS+Training+%26+Certification&page=2&qid=1636712113&ref=sr_pg_2

Мы все про ссылаемся на степик, когда говорим про курсы, а пусть у вас будет диплом (сертификат) Harvard!🪀 https://www.edx.org/course/cs50s-introduction-to-programming-with-python

У нас новый перевод про инжиниринг данных, про то, куда движется отрасль под действием современных трендов:

Ссылка на перевод:
https://vc.ru/u/970853-evgeniy-vorobev/318820-kak-sovremennyy-stek-menyaet-inzhiniring-dannyh

Также перевод продублирован на Яндекс.Дзен:
https://zen.yandex.ru/media/id/61706aa4298d6612db1752e5/kak-sovremennyi-stek-meniaet-injiniring-dannyh-618ffa00acb9835aaae4f44e

У Xbox много своих студий, которые называются 1st party студии, для сравнения не Microsoft студии называются 3rd party. А где 2nd party я не знаю😲. Инженер данных в игровой индустрии должен собирать данные от игрового клиента. В ААА* играх (это игры блокбастеры) часто используют Azure Playfab как инструмент передачи телеметрии - The role of LiveOps in launching your game

*AAA video game

Народ возмущается, как так вот!  Напоминает история про паркову BMW или Mercedes в Москве в аэропорте - когда маркетинг компания пошла не по плану. И другой вопрос возник, почему Амазон над Майкрософт?😂

Всем привет! У нас появилась новая лаба по Snowflake. Это дополнение к последнему модулю про снежинку. Ее создал Сергей Володарский:

🎄Модуль 1 Подготовка лабораторной среды
🎄Модуль 2 Пользовательский интерфейс Snowflake и история лабораторной работы
🎄Модуль 3 Подготовка к загрузке данных
🎄Модуль 4 Загрузка данных
🎄Модуль 5 Аналитические запросы, кэш результатов, клонирование
🎄Модуль 6 Работа с полуструктурированными данным и представлениями
🎄Модуль 7 Использование путешествий во времени
🎄Модуль 8 Контроль доступа на основе ролей и администратор учетных записей
🎄Модуль 9 Обмен данными
🎄Сброс окружения Snowflake

Я не помню, рассказывал я или нет, но Сергей сейчас живет в Калгари, он очень активный член комьюнити Data Learn. Но прежде всего он помогает себе. Секрет успеха data learn не в том, чтобы сделать все задание и забыть про даталерн (так тоже работает), а чтобы быть активным (проактивным). Помогая другим, вы помогаете себе, уча других, вы учите себя, и тогда получается value намного больше. Сергей был бухгалтером, потом стал менять фокус в сторону data и BI, но после некоторго времени активности у нас, он получил работу Data Engineer и будет строить решение Delta Lake на Databricks. Возможно, его можно поздравить с этим?! И после ETL лаб по dbt, airflow и docker, он обязательно сделает хорошие лабы по spark и databricks!

https://github.com/Data-Learn/data-engineering/blob/master/DE-101%20Modules/Module06/DE%20-%20101%20Labs/Snowflake/snowflake-lab.md

В продолжение недавнего поста про победу Databricks на Snowflake в войне производительности и цене (или маркетинге), Snowflake выпустил пост, который написан их фаундерами, где они разложили все пополочкам. Очередной раз убеждаемся, что нельзя никому верить, пока сам не попробуешь и сравнишь. (PS помоему Максим первым прислал ссылку на этот пост)

https://www.snowflake.com/blog/industry-benchmarks-and-competing-with-integrity/

PS А если ты студент DataLearn то самое время воспользоваться их советом:

Once logged in, you will land on the Snowflake worksheet tab. From there, open the TPC-DS 100 TB tutorial by clicking on the down arrow located on the right side of the worksheet tab named New Worksheet (top left of the screen), then select Open Tutorials, and select Tutorial 4: TPC-DS 100 TB Complete Query Test. This will open a new worksheet tab with the script you can use to run the TPC-DS power run @ 100 TB scale.

И подключить свой любиый BI или ETL интсрумент и прогнать 100ТБ данных. Построить отчет в табло на 100ТБ? Запустить DBT или Airflow на 100TB!!! Вот это будет актив, так актив к вашему резюме.

Добавил урок 6.6 - про современные ETL/ELT

ETL(ELT) инструменты нам нужны, чтобы наполнять наше хранилище данных, ну или платформу данных. Для современных аналитических инструментов лучше использовать современные инструменты интеграции. Прежде чем выбирать инструмент, нужно понимать фундаментальные основы построения аналитического решения, его слои и компоненты, разницу между ETL и ELT, между Batch и Stream, между on-premise и cloud и многое другое. Задача инженера данных выбрать правильное решение для обработки и хранения данных.

В этом видео:
📌   Рассмотрим простой пример интернет-магазина и необходимости интеграции данных и аналитического решения
📌   Что такое Data Pipeline?
📌   ETL App или Coding? (Python, Scala и тп)
📌   ETL on-premise и Cloud (AWS, Azure, GCP)
📌   ETL разработчик или Data Engineer
📌   Open Source or Not Open Source
📌   Архитектура современного решения с использованием On-premise tools
📌   Архитектура современного решения с использованием коммерческих продуктов
📌   Обзор решений западного рынка
📌   Пример ETL vs ELT с использованием Pentaho DI и Redshift
📌   ETL Job = DAG (Direct Acyclic Graph)
📌   Обзор решений: MatillionETL, Fivetran, Apache Airflow, Azure Data Factory, AWS Glue

На лабораторной работе я покажу как запустить Matillion ETL, DBT cloud, Talend, Informatica, ETL Leap, Qlikview через Snowflake Partner Connect. Особенно детально я покажу как выглядит Matillion ETL и как вы можете выполнить задание 4го модуля по Superstore Star Schema (dimensional modelling) в Matillion ETL.

Repo, в котором много полезного для DBT tool.

Роман Пономарев решил взять интервью у Эмиля Богомолова. Эмиль работает инженером исследователем в Сколтехе и уже выступал у нас с вебинаром о применении нейронных сетей.
В этом видео мы поговорили:
📌 Как искать первую работу
📌 О курсах, что стоит изучать, а что нет
📌 О тестовых заданиях
📌 Трейдинг
📌 Бизнес процессы
📌 И многое другое