Size: a a a

Инжиниринг Данных

2021 June 26
Инжиниринг Данных
Мне всегда нравились заголовки статей в Harvard Business Review(HBR). Но я не мог их читать, было ужасно скучно. Я думал, что это плохой английский у меня. Теперь у меня есть платная подписка, но это какая-то ерунда. Кроме красивых картинок и заголовков, там одна вода🙄 кто нибудь любит HBR?
источник
Инжиниринг Данных
Свежий эпизод подкаста “Data Coffee” про ETL и Apache Airflow с замечательной Диной Сафиной из mail-ru уже доступен к прослушиванию в ваших подкастоприемниках!

#datacoffee #podcast #data #подкаст #данные

https://anchor.fm/data-coffee/episodes/ETL--e12vknj
источник
Инжиниринг Данных
В продолжение темы построения архитектуры аналитических решений.

https://www.youtube.com/watch?v=slfDKyMxZsU
YouTube
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. Тоже самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самый первый шаг в создании решения мы начнем с потребностей клиента и бизнеса, напишем press releases, ответим на все возможные вопросы в FAQ и создадим visuals, включая диаграмму/архитектуру нашего будущего решения или продукта.

Из модуля вы узнаете:
📌   Что такое архитектура
📌   Amazon Working Backwards и Press Releases
📌   Enterprise Architecture Frameworks
📌   TOGAF и Zachman frameworks
📌   AWS и Azure blueprint решения и шаблоны
📌   The 5 Pillars of the AWS Well-Architected Framework
📌   Примеры AWS решений
📌   Диаграммы и архитектуры аналитических решений

В 5 модуле мы узнаем про облачные вычисления, или просто cloud computing. Мы начнем с основ, и поговорим и главных вендорах и их решениях. Я расскажу про свой опыт с облачными решениями и постараюсь вас…
источник
Инжиниринг Данных
Ещё один концепт из Амазона, который я часто использую - good intentions don't work, mechanics work. Тоже Безос придумал. Идея в том, что наши хорошие намерения не работает, и невозможно положиться на людей, думая, что они все будут делать так, как будет эффективно для бизнеса. Обычно люди забивают, и делают как им удобно. Поэтому нужно внедрять процессы и механики.
источник
2021 June 27
Инжиниринг Данных
источник
2021 June 29
Инжиниринг Данных
источник
Инжиниринг Данных
Популярная тема - “metrics standardization”:
1. Achieving metric consistency & standardization — Uber Data
2. Achieving metric consistency at Scale — Airbnb Data

Мой самый любимый пример в этом вопросе, когда несколько департаментов используют единое хранилище данных и считают Revenue (прибыль) и у всех оно разное. В Амазоне я такую картину наблюдал, как отдел маркетинга, финасов и продажников считали доход в разрезе регионов, использую разную логику и получали разные ответы на 5-10% и из года в год, всплывали вопросы почему цифры разные в Weekly Business Review (WBR). (Если вы не знаете, что такое WBR, то я рассказывал в одном из уроков datalearn и писал в канале)
источник
2021 June 30
Инжиниринг Данных
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Чат, а вы знаете что всю смартдату уже выложили и можно смотреть? https://www.youtube.com/playlist?list=PLeN_80lmoMY1ugdDLg2mWht5eQDq6CoNQ

Кстати, пишите какие у вас любимые доклады оттуда!
источник
Инжиниринг Данных
Модуль 5 сейчас пока остановился на уроке 5.6 про Архитектуру облачных решений, да и вообще про архитектуру - все, что знал, рассказал и показал. Я решил добавить модуль 5.10 - Python в AWS. Так как нам всеравно понадобится питон в модуле 7, то будет самое то получить азы.

У AWS есть замечальный ресурс (free) - LEARN PYTHON ON AWS WORKSHOP. Там подробная инструкция на английском и упражнения. Большое спасибо Сергею (@erfolg5862), который уже оформлял лабы для модуля 5, за то, что он перевел этот workshop на русский, все очень подробно и со скринами. Если есть необходимость и время, можно пройти. И это отличная строчка в резюме для современного рынка.
источник
Инжиниринг Данных
Продолжая серию постов про транспортные средства (я уже писал про электро велосипед и самокат), я хочу поделиться опытом про доску с веслом - paddle board. Их бывает много и разброс цен большой. Бывают твердые и надувные. Не буду вас грузить подробностями. Так как у нас океан под боком, я решил выбрать модель touring - это длинные доски 12"-14" на которых комфортно плавать при небольших волнах и встречном ветре и можно брать с собой много груза или детей)

В общем я выбрал себе Starboard Touring 14"x30.  Доска идет без весла и к ней я выбрал карбоновое весло  из 3х частей. Я ждал эту доску в наличие больше года. Другой хороший бренд - Red, у них есть доска Red Voyager. Вчера проплыл не ней 9км с дочкой, мы попали в встречный ветер и волны, но доплыли, макс скорость была 9км\ч и средняя 5 км\ч при встречном ветре и волнах это хорошо. Если  вы в Strava то я там посщу тренировки.

И чтобы лучше трекать все, я купил часы Suunto 9  Baro - очень крутые!
источник
Инжиниринг Данных
21 книга по визуализации данных, со многими знаком https://builtin.com/data-science/data-visualization-books
источник
2021 July 01
Инжиниринг Данных
Кратко о моих обязанностях из LinkedIn
источник
Инжиниринг Данных
Заметил интересный момент, вот этот товарищ возглавлял и развивал Azure Databricks и делал это очень успешно. Azure Databricks один из самый пользуемых продуктов в аналитике на Azure Cloud. Недавно я общался с VP Azure и еще рядом менеджером, где мы обсуждали можно ли нам не использовать Azure Synapse, а продолжать использовать Databricks. Azure Synapse это посути замена Databricks но уже от Microsoft. ПОка это не говорят в слух, но выглядит очевидно, что 2 продукта похожих в Azure не очень уживутся. И сейчас я заметил, что товарищ ушел из Microsoft и перешел в другою компанию, интересно как дальше сложится с Azure Databricks и Synapse Analytics.
источник
2021 July 02
Инжиниринг Данных
Новый термин - синтетические данные (synthetic data) применимо к кейсам ML. - Synthetic data is annotated information that computer simulations or algorithms generate as an alternative to real-world data.Synthetic data is annotated information that computer simulations or algorithms generate as an alternative to real-world data.
источник
Инжиниринг Данных
Чувак заморочился и собрал все возможные решения для Data Discovery
источник
Инжиниринг Данных
Амазон добавил ещё 2 leadership принципа:
Strive to be Earth’s Best Employer
Leaders work every day to create a safer, more productive, higher performing, more diverse, and more just work environment. They lead with empathy, have fun at work, and make it easy for others to have fun. Leaders ask themselves: Are my fellow employees growing? Are they empowered? Are they ready for what’s next? Leaders have a vision for and commitment to their employees’ personal success, whether that be at Amazon or elsewhere.

Success and Scale Bring Broad Responsibility
We started in a garage, but we’re not there anymore. We are big, we impact the world, and we are far from perfect. We must be humble and thoughtful about even the secondary effects of our actions. Our local communities, planet, and future generations need us to be better every day. We must begin each day with a determination to make better, do better, and be better for our customers, our employees, our partners, and the world at large. And we must end every day knowing we can do even more tomorrow. Leaders create more than they consume and always leave things better than how they found them.

Список всех https://www.aboutamazon.com/about-us/leadership-principles
источник
Инжиниринг Данных
Окей, облако это хорошо, но что делать, если существующее решение существует on-premise? Ответ прост - мигрировать. Но как? Облачные вендоры максимально решили нам помочь и предоствили огромное колличество сервисов, которые упростят нашу жизнь.  

Из модуля вы узнаете:
📌   Стратегии миграции в облако
📌   Примеры миграции базы данных и аналитического решения
📌   AWS Schema Conversion Tool
📌   AWS Database Migration Service
📌   Azure Migration Services

https://youtu.be/QGgQj34JG1Q
YouTube
DATALEARN | DE - 101 | МОДУЛЬ 5-7 МИГРАЦИЯ В ОБЛАКО
Окей, облако это хорошо, но что делать, если существующее решение существует on-premise? Ответ просто - мигрировать. Но как? Облачные вендоры максимально решили нам помочь и предоствили огромное колличество сервисов, которые упростят нашу жизнь.

Из модуля вы узнаете:
📌   Стратегии миграции в облако
📌   Примеры миграции базы данных и аналитического решения
📌   AWS Schema Conversion Tool
📌   AWS Database Migration Service
📌   Azure Migration Services

В 5 модуле мы узнаем про облачные вычисления, или просто cloud computing. Мы начнем с основ, и поговорим и главных вендорах и их решениях. Я расскажу про свой опыт с облачными решениями и постараюсь вас научить их использовать и дать достаточно знаний, для того, чтобы вы могли понимать, что это такое, и как это используется, а так же применять в работе.

📌   Основные вендоры облачных решений AWS, Microsoft Azure и Google Cloud
📌   Типы облачных сервисов и их примеры (Cloud Service Models)
📌   Модели облачных решений (Cloud Model Types)
📌   Безопасность облачных…
источник
Инжиниринг Данных
Статья по этой теме, которую я написал 2 года назад https://medium.com/rock-your-data/cloud-analytics-migration-strategies-74af248de066
источник