Size: a a a

Инжиниринг Данных

2021 August 03
Инжиниринг Данных
Венчурные компании активно изучают рынок data и инвестируют в компании. Иногда они публикуют отчеты (возможно, чтобы подтвердить свои гипотезы):

Roadmap: Data Infrastructure https://www.bvp.com/atlas/roadmap-data-infrastructure
"The modern cloud data stack is undergoing massive construction and the future of software will be defined by the accessibility and use of data."
источник
Инжиниринг Данных
Переслано от Паша Финкельштейн...
Привет! Вероятно тебе будет интересно запостить
https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/
источник
2021 August 04
Инжиниринг Данных
Наша команда опубликовала новую вакансию - Data Scientist. Лично мне описание совсем не понравилось, так как это больше похоже на BI. Тем не менее есть всего лишь одно упоминание про опыт с ML и data science. В идеале я бы хотел инженера по spark и ML(Databricks, MLlib, MLflow), чтобы мы вместе могли построить крутые, в идеале инновационные вещи по ML в gaming. Но к сожаление, data engineering находится не в аналитическом департаменте (тоже не согласен), а в игровых сервисах, и мое мнение не особо интересно про описание вакансии.

PS ,если вы в Канаде или в Штатах, я конечно могу вас рефернуть. А вдруг
источник
Инжиниринг Данных
Если вы активны в linkedin, то вы поймёте))
источник
Инжиниринг Данных
10 Common Mistakes When Building Analytical Data Models
1. Treating Schema Design as a One-Off Project
2. Building Tables and ETL Processes That Are Too Big
3. Choosing (And Sticking To) The Wrong Modeling Approach
4. Lack of Empathy for the End Users
5. Not Tracking Changes Made to Your Data
6. Mixing Data With Different Granularity
7. Using Poor Naming Conventions
8. Too Many Views
9. Thinking Short Term
10. Insufficient Communication Between Data Consumers
источник
Инжиниринг Данных
источник
Инжиниринг Данных
The business people, the actuaries, know what data they need and can define requirements, but typically don’t have the skill set to design a data architecture that gives them the data they need. Technology people typically don’t understand the business requirements, but they can design the data architectures. It’s like the people in IT speak blue, the people in business speak red, but we need people who speak purple in order to create an appropriate solution.https://www2.deloitte.com/us/en/insights/focus/cognitive-technologies/artificial-intelligence-purple-people.html

Так же в статье упоминается - Wayne Eckerson was the first to define the “purple person” in a 2010 blog post—someone with the mix of business and technology skills that is present in many successful business intelligence and analytics people.

Он оч крут, один из первых топил за аналитику и написал очень хорошую книгу - Secrets of Analytical Leaders: Insights from Information (очень рекомендую, особенно менеджерам). У меня даже была идею такую же написать современную где поговорить с современными лидерами и спросить как у них с облачной аналитикой. Но силы уже не те))
источник
2021 August 05
Инжиниринг Данных
18 августа будет бесплатный воркшоп по Azure Databricks и delta lake. Будут подтягивать данные о погоде. https://mktoevents.com/Microsoft+Event/288495/157-GQE-382

У вас есть кейсы по погоде? Знаю в snowflake есть данные в реальном времени о погоде и какая-то крутая компания сделала офигенный кейс в штатах.
источник
Инжиниринг Данных
Версионность отчётности 🐒
источник
Инжиниринг Данных
А говорят big data не работат... Оказывается работает! Только мне кажется jira, slack и другие сервисы это не big data))
источник
Инжиниринг Данных
Компоненты аналтитического решения сгруппированы по типам и назначению. Взял из книжки What is Data Lake на O'Reilly. https://www.oreilly.com/library/view/what-is-a/9781492088899/

Немгого специфический взгляд на вещи.
источник
2021 August 06
Инжиниринг Данных
Уже не новый, но хороший пост - Test data quality at scale with Deequ -  про data quality и unit tests для data pipelines.

А какие framework вы используете? Я видел несколько для Spark/Databricks. И скоро планирую что-нибудь внедрить.
источник
Инжиниринг Данных
Летняя школа от Snowflake:
Snowflake 101 – Available Now
Analysis and Visualization Best Practices – Available August 9
Data Management for Analysts – Available August 16
Advanced Analytics and Emerging Trends – Available August 23
источник
Инжиниринг Данных
Введение к 6 модулю.

В 6 модуле мы узнаем про аналитические и облачные хранилища данных которые используются в индустрии. Крупные компания Amazon, Microsoft, Airbnb, и многие другие из списка SP500 используют одну или сразу несколько решений для аналитических хранилищ данных - Amazon Redshift, Microsoft Synapse, Google BigQuery или Snowflake. Но кроме облачных хранилищ есть еще много on-premise Teradata, Greenplum, Vertica, Exasol и тп.

Из модуля вы узнаете:
📌   Основы аналитических хранилищ данных
📌  MPP vs SMP
📌   Практика с Redshift, Snowflake и Azure Synapse
📌   Облачные ETL инструменты
📌   Обзор вакансий мирового рынка
📌   Обзор решений для операционной аналитики - Splunk, Azure Data Explorer и ElasticSearch
YouTube
DATALEARN | DE - 101 | МОДУЛЬ 6-1 ВВЕДЕНИЕ
В 6 модуле мы узнаем про аналитические и облачные хранилища данных которые используются в индустрии. Крупные компания Amazon, Microsoft, Airbnb, и многие другие из списка SP500 используют одну или сразу несколько решений для аналитических хранилищ данных - Amazon Redshift, Microsoft Synapse, Google BigQuery или Snowflake. Но кроме облачных хранилищ есть еще много on-premise Teradata, Greenplum, Vertica, Exasol и тп.

Из модуля вы узнаете:
📌   Основы аналитических хранилищ данных
📌  MPP vs SMP
📌   Практика с Redshift, Snowflake и Azure Synapse
📌   Облачные ETL инструменты
📌   Обзор вакансий мирового рынка
📌   Обзор решений для операционной аналитики - Splunk, Azure Data Explorer и ElasticSearch

🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки!

📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале https://datalearn.ru/

👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым…
источник
Инжиниринг Данных
Ted Talks у меня всегда ассоциировались с мучительным изучением английского языка. Каждый день я смотрел по одному talk, и иногда даже пытался писать пересказ.  Вот интресный talk - Inside the mind of a master procrastinator | Tim Urban


Кстати узнал крутой lifehack для иммиграции в Канаду. Я всегда думал, что надо сдавать IELTS, но у знал недавно, что можно сдать другой экзамен намного легче https://www.celpip.ca/
источник
2021 August 07
Инжиниринг Данных
Свежая статья про Analytics Engineer:

If you work in the world of data, you have at this point heard a lot of talk about the Modern Data Stack. It has gained a lot of buzz and attention as companies have begun a fundamental shift in how they think about analytics and machine learning. The Modern Data Stack is built on the new cloud-native technologies that have emerged in the last decade that are fast, reliable, scalable, and, most importantly, accessible everywhere. Some of the technologies that have made this possible are massively parallel processing (MPP) cloud data warehouses like Redshift, Snowflake, and BigQuery; ingestion tools like Stitch, Airbyte and Fivetran that have improved reliability and connector coverage; and analytics platforms like ThoughtSpot that enhance users’ experience when finding and sharing data insights, and make that data accessible to everyone, everywhere.

https://medium.com/validio/dbt-and-the-analytics-engineer-whats-the-hype-about-907eb86c4938
источник
Инжиниринг Данных
Еще один полезный фидбек от Александры, который я подсмотрел в нашем женском сообществе, кстати Александра курирует нашу группу в Facebook.

Всем привет! Хочу от себя поблагодарить Дмитрия и всех разработчиков курса)) 🙏 Это был мой начальный этап в понимании в какую сторону работы с данными я хотела бы развиваться. Предыстория. Я долго работала в интернет маркетинге и в какой-то момент стало ясно, что пора что-то менять. Работа, говоря прямо, стала бесить. Дата аналитика всегда меня привлекала, но и страшно было - женщина, за 30ть. Тема даты стала активно пушится из каждого утюга, но

1) никто толком не мог объяснить разницу между дата сайнтистом и дата аналитиком, например.
2) было очевидно, что на волне бума обучающие организации "косят" деньги (один такой курс я прошла, спасибо, знакомой, бесплатно).

Случайно (уже не помню как) наткнулась на курс, здесь (и это самое главное) по полочкам мне разложили кто есть кто, какие знания нужно развивать, что бы, как сейчас говорят, войти в профессию. А главное, я смогла определиться в направлением. Начала со смежной с моей уже прошлой профессией - с web-аналитики. За это время параллельно с изучением основных инструментов по  новой профессии, я начала изучать python, sql,  Tableau, как устроены ААР, процессы (ох, ETL - самое сложное :slightly_smiling_face: оказалось)). И эти знания в последствии дали мне несколько очков сверху при рассмотрении моей кандидатуры на собеседованиях, что самое интересное они волнуют работодателя даже больше, чем Google Analytics\GTM. Да, даже так! Да и сама профессия со времен моей работы в интернет маркетинге изменилась, функционал расширился. И это отлично.

Что могу посоветовать от себя лично: сделайте git. кидайте туда все-все-все. Скрины практик на курсе, какие-то упражнения с sql, с python. Пусть даже кривые\с ошибками, но кидайте и включайте ссылку в резюме. Задавайте много уточняющих вопросов на собеседовании. Прошла много разных собеседований и крайне часто, сыпя вопросами в сторону работодателя получается так, что

1) они ищут "сами-не-знаю-кого", но модно и нужно, и конкуренты
2) хотят вроде как web-аналитика, а по факту он должен: знать все про вебку, работать в Hadoop, строить предсказательные модельки и хорошо бы ETL, и все за малую денежку. Ребята, не ведитесь. Это значит там бардак.

Не всегда HR умеют грамотно описать вакансию - это еще одна проблема.

Ходите, общайтесь. Много. Это дает понимание происходящего.

Сейчас DE\DA ищут очень многие компании, даже web-аналитики все еще востребованы, хотя направление не новое.

Уважайте, цените себя и верьте в себя. Вы на курсе! А он ооочень богатый в плане знаний. И действительно поможет в будущем.
источник
2021 August 08
Инжиниринг Данных
Ещё один отличный фидбек от Ивана. Получается у всех опыт отличается и пути разные, но если цель понятно, ее относительно легко добиться, все необходимое есть.

Хотел бы так же поблагодарить Дмитрия за курс!

Во многом благодаря курсу и тому направлению которое задал Дмитрий, я получил оффер на позицию ETL разработчика в крупный банк.

Основной стэк:
Informatica, Oracle, Python, Power BI.

До этого конечно был опыт работы в техподдержке 0,5 года.

И как уже говорили Дмитрий, нужно проходить собеседования.
Я прошёл около 15 собеседований и уже в дальнейшем знал, что будут спрашивать.
Были очень странные собеседования, когда просили написать API на Python,спрашивали декораторы и итераторы, отличия *args и **kwargs(это уже advanced уровень).
Спрашивали advanced вопросы по Oracle(партиционирование, индексы, PL/SQL).
Один раз спросили про теорию сетей(в общих чертах понимать нужно).
Иногда просили подготовить
набор тестовых данных из 10-15 таблиц.
Спрашивали, а вы знаете как в SQL работает where😃
Так же плюс собеседований, дают тестовые задания, на которых можно прокачаться.
Кстати, по образованию я учитель физической культуры)

На всех собеседованиях, удивлялись, что я знаю архитектуру DWH и могу объяснить какую пользу могут принести Data/Engineer/Analyst для компании, опять же все благодаря курсу)
Какие то моменты углубленно сам изучал.
Достаточно  подробно изучил Talend даже записал пару видео на YouTube, ознакомился с Luigi, постоянно работаю с Docker и Linux.
Есть пробелы в BI и статистике, но стараюсь наверстать.

Так же хотел бы поблагодарить Анатолия за курс по SQL, лучшего объяснения оконных функций я не встречал)

Так же в подготовке мне помогли курсы Глеба Михайлова.
У него есть крутой курс на udemy и он ведёт телеграм канал.
источник
Инжиниринг Данных
Не пропустите следующий офигенно полезный вебинар про Apache Spark,  SparkSQL и Pyspark https://youtu.be/OfS5o8vz-O8
YouTube
ВВЕДЕНИЕ В PYSPARK И SPARKSQL / ОЛЕГ АГАПОВ
На вебинаре хочу рассказать про появление Apache Spark, его применение в современном стеке дата-инструментов, а также на практике показать как запустить Spark на своём компьютере и написать первый ETL пайплайн!

🔔 План:
📌 Как и почему появился Apache Spark
📌 Какие задачи решает
📌 Основные концепции
📌 Практика 1 – установка и запуск PySpark локально
📌 SparkSQL API
📌 Практика 2 – делаем ETL в PySpark
📌 Q&A

🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить новые видео и ставьте лайки!

📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале https://datalearn.ru/

👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания, отдавать их на проверку и получить сертификат прохождения курса.
источник
2021 August 09
Инжиниринг Данных
Буквально неделю назад закончил обучение Clickhouse от Altinity (101 Series Training). Мне очень понравилось погружение в Clickhouse со стороны команды, которая по праву считается экспертами в CH, искренне рекомендую это обучение всем, кто заинтересован в расширении знаний о Clickhouse.

Написал заметку о том, что происходит в четырех днях тренинга и делюсь своим конспектом ✍️.
источник