через пару минут начинаем https://youtu.be/OfS5o8vz-O8

Вводная статья про использование git для SQL - зачем и как. И даётся описание как использовать плагин для dbeaver, который синхронизирует с гит (у нас в даталерн dbeaver основной инструмент, может кто захочет на русском написать туториал и мы в гит добавим?)

Отличная статья про лидерство без авторитета в дата командах и техники для завоевания доверия у коллег и руководителей. https://eugeneyan.com/writing/influencing-without-authority/

Data Warehouse Costs Soar, ROI Still Not Realized

94% report of data leaders voice serious concerns

Only 22% saw a full return on investment


https://www.businesswire.com/news/home/20210812005242/en/Data-Warehouse-Costs-Soar-ROI-Still-Not-Realized

Все как обычно, сложно окупить аналитическое решение и просчитать его пользу. Но и без него никак.https://www.businesswire.com/news/home/20210812005242/en/Data-Warehouse-Costs-Soar-ROI-Still-Not-Realized

Все как обычно, сложно окупить аналитическое решение и просчитать его пользу. Но и без него никак.

Data & AI tools 2020 🤯

На картинке лишь малая часть инструментов за 2020 год для работы с данными. "Растут как грибы" - это реально про них. Да еще и мой прошлый пост про 0 ROI от внедрения аналитического решения. Так же без него тоже никуда, поэтому народ время не теряет и пилит свой "табло" или "аирфло" или еще чего-нибудь, что хорошо стрельнуло.

Проблема тут, что из-за такого обилия инструментов, новичок просто утонет и никогда не найдет выхода из лабиринта иснтрументов. Если 10 лет назад было по 3 инструмента в каждой категории, а категорий было максимум 5, то теперь просто "жопа". Одно из преимуществ datalearn для меня, что я хочу сделать такой мостик между сегодняшним хаусом инструментов и пониманием основ. Но я не про datalearn сейчас.

Сегодня попался еще один интересный пост, про What is the right level of specialization? For data teams and anyone else.  идея в том, что "Specialization is probably driven a lot by bad tools", и если раньше было несколько специализаций, то сегодня их расползлось. Теперь стало сложно понять какой специалист нужен, какие требования, что учить, что писать в описание вакансии и тп. Часто это опять же набор - tools.

Так что если вы знаете и понимаете основы, то вы справитесь с любым tool, а если вы учите tool ради специализации, то вы идете по ложному пути. А как вы думаете?

Если вы работает с Python для дата аналитики, то вы точно используете ноутбуки, и если вы не software engineer, то вы их обожаете (как я). НУ И ЗРЯ! Это не я сказал I don't like notebooks.- Joel Grus

В целом вся это история с naming conventions все больше и больше меня мучает на работе, и каждый мой commit исправляется, обычно ошибки это название переменной, или большая буква заменяется на маленькую, или маленькая на большую, а иногда CamelCase на camelCase или на camel_case. Короче 😖😡

В целом мне моя проблема понятна - я далек от software engineering, и в данный момент это мой минус, приходится подстраиваться, что конечно ранит мою самоценку сейчас, но полезно на долгую перспективу.

А вот к чему опрос - Why GitHub renamed its master branch to main

The computer industry's use of the terms master and slave caught everyone's attention in the summer of 2020. Amid the many protests and the growing social unrest, these harmful and antiquated terms were no longer considered appropriate.

"Both Conservancy and the Git project are aware that the initial branch name, 'master,' is offensive to some people and we empathize with those hurt by the use of that term," said the Software Freedom Conservancy.

PS в целях diversity&inclusion это считается хорошей практикой переименовать master в main, перестать использовать слова типа divide and conquer, by the way, и даже слово picnic.

Про PySpark

Первые 3 недели в роли менеджера Data Engineering https://tiffanyjachja.medium.com/my-first-three-weeks-a-data-engineering-manager-8b0be08da7a5

Forbes опубликовал Cloud 100 - список лучших компаний, которые работаю в облаке. (Databricks - на 2м месте). Там много data компаний.

Идея создания школы для запада, взяв за основу datalearn не оставляет, очень хочется проверить гипотезу на запад. На русско говорящем рынке подход и контент зарекомендовал себя, почему не сделать такое же на весь мир.

Можете пока follow на Linkedin

Черновик описания:

Data is everywhere. But do you know how to make it work? Do you know where to start? The analytics market is growing for the last 20 years and new tools pop up every week. Which one to learn? Do I want to be a data analyst or data scientist? Who is a data engineer and what is about Big Data Engineer? Data Visualisation is a big thing? We can continue this list over and over.

This is the modern challenge in data space. Thousands of tools, dozens of coding languages, lots of data roles, data slang, technical complexity, business domains, and so on.

West Coast Analytics is here to help you to solve these challenges and help you to boost your career in the data field and land a job. Our coaches are experts with years of experience in FAANG companies who share the love for data and the Pacific Ocean, mountains, and rain forest.

We are building training intending to train you foundations of analytics. You will start with basics and move towards a modern data stack. You wouldn't care about the tooling, you will learn business intelligence and data engineering principles.

Our school will help you
1. Transfer in analytics space and land data job in 5-6 months with 0 prior experience.
2. Close the gaps in data analytics and data engineering
3. Get knowledge about North America and European market demand
4. Learn best practices
5. Join data community with people from all over the world
6. Participate in offline intensive Surf+Data

Our school will help you
1. Transfer in analytics space and land data job in 5-6 months with 0 prior experience.
2. Close the gaps in data analytics and data engineering
3. Get knowledge about North America and European market demand
4. Learn best practices
5. Join data community with people from all over the world
6. Participate in offline intensive Surf+Data - surf camp with data workshops6. Participate in offline intensive Surf+Data - surf camp with data workshops

Оказывается есть FAANG и FAAMG. А я уж думал, я не в FAANG больше и все напрасно😓😶‍🌫️🤑

Картинку я взял из статья Data Platform Architecture at Hurb.com.

В ней автор рассказывает про свое решение:
- Data Pipelines Architecture - используют Apache Airflow, Apache Beam и Dataflow (последние 2 не знаю)
- Data Quality and Observability - используют Great Expectations (все чаще встречаю этот инструмент). Для меня самая главная проблема это определиться - а что же я хочу проверять? Какие правила создать? Это нужно понимать специфика источников и бизнеса или уже по факту дырки латать.
- Data Discovery and Serving - для хранения у них BigQuery. Для BI используют Metabase.Для data catalog используют Amundsen (кто нибудь пробовал?)