Size: a a a

Инжиниринг Данных

2021 June 10
Инжиниринг Данных
У Microsoft очень большие планы на Gaming! https://news.xbox.com/en-us/2021/06/10/satya-nadella-and-phil-spencer-on-gaming-at-microsoft/
источник
Инжиниринг Данных
Новая книга про красоту визуализации данных - Data Sketches by Nadieh Bremer and Shirley Wu. В приложение глава в pdf. Сейчас в Microsoft проходит MLADS конференция(внутренняя), где есть трек про визуализацию, как раз на ней автор и выступала.

Вообще в Microsoft столько всего происходит, вообще не понятно Когда работать🤔
источник
2021 June 11
Инжиниринг Данных
источник
Инжиниринг Данных
Продолжаем - МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ

Данные повсюду и облака не исключение. Облачные решения могут создавать или использовать данные для различных целей, например аналитика, IoT, мобильные приложения, бизнес приложения и многое другое. Все данные, которые находятся в "нашем" облаке - являются нашей собственностью и мы несем за них ответственность и должны соблюдать законодательство и все регламенты. В этом уроке мы:

📌   Характеристики данных
📌   Соответствие с законами
📌  Тип хранения данных
📌  Данные в России
📌  Персональные Данные (PII)
📌  Как работать с персональными данными в облаке по закону
📌  AWS и Azure решения для Compliances


https://youtu.be/3YCUsekrhPU
источник
Инжиниринг Данных
источник
2021 June 12
Инжиниринг Данных
Хотим провести следующие базовые вебинары, нужны добровольцы, чтобы рассказать:
1) Что такое streaming, когда используется, демонстрация (например Apache Kafka).  В каких случаях для аналитики это подходи, а в каких нет.
2) Про Hadoop - история продукта Big Data и его наследие, и немного про основы и проекты.
3) Про классическое Озеро Данных (в эпоху до Delta Lake)
4) Про Power BI - как сделать best practices для self services в Power BI, как организовать data models и всегда ли нужен Dax.
5) Про бизнес специфику - какие метрики и показатели используются, на что смотрит бизнес, какие дашборды и тп (например маркетинг, финансы, логистика, машиностроение, добыча ресурсов и тп)
6) Airflow - что это такое простым языком и демонстрация
7) AWS/Azure/GCP - обзор аналитических решений и сервисов
8 ) Spark - что это такое, зачем используется, история и применение, демонстрация
9) Про руководство дата командой или управление дата проектом

В общем и целом, всегда рады, когда вы делитесь опытом с нами!
источник
Инжиниринг Данных
Бодрящий, как аромат свежеобжаренных кофейных зёрен ☕️, новый эпизод подкаста Data Coffee уже доступен к прослушиванию 🎧!

Тема выпуска сегодня — Облака и Data-Driven CultureОблака и Data-Driven Culture.

А ещё у нас с вами гость! В гостях у подкаста ‘Data Coffee’ специалист по созданию аналитических решений из Канады - Дмитрий Аношин (Telegram, Linkedin, Хабр)

https://anchor.fm/data-coffee/episodes/Data-Driven-Culture-e11b8ai
источник
2021 June 13
Инжиниринг Данных
Google cloud AI adoption framework
источник
2021 June 14
Инжиниринг Данных
Data Base, Data Mart, Data Warehouse, Data Lake, и даже Data Swamp, и вот теперь есть Data Acquarium
источник
Инжиниринг Данных
Когда я был в Amazon Alexa, я писал про микроволновки с AI, а в Xbox это будут холодильники.
источник
2021 June 15
Инжиниринг Данных
Переслано от Томак Ксения...
DE or DIE #7

Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE!

Дата и время: 16 июня (среда) 18:00
Формат: Онлайн (трансляция на YouTube)

Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/

Темы:
18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова
19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор
20:15-20:45. After Show - организаторы DE or DIE и спикеры

(*): Несмотря на англоязычные названия доклады будут на русском языке.

Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.
источник
Инжиниринг Данных
Переслано от Daria
источник
Инжиниринг Данных
Вы уже должны знать про DBT tool (там самая Т в ELT процессе). С хранилищем все понятно, как использовать этот инструмент. Оказывается его ещё используют для Spark. 17 июня будет вебинар DBT+Databricks on AWS
источник
2021 June 16
Инжиниринг Данных
Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. Тоже самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самый первый шаг в создании решения мы начнем с потребностей клиента и бизнеса, напишем press releases, ответим на все возможные вопросы в FAQ и создадим visuals, включая диаграмму/архитектуру нашего будущего решения или продукта.

Из модуля вы узнаете:
📌   Что такое архитектура
📌   Amazon Working Backwards и Press Releases
📌   Enterprise Architecture Frameworks
📌   TOGAF и Zachman frameworks
📌   AWS и Azure blueprint решения и шаблоны
📌   The 5 Pillars of the AWS Well-Architected Framework
📌   Примеры AWS решений
📌   Диаграммы и архитектуры аналитических решений

https://youtu.be/slfDKyMxZsU
YouTube
DATALEARN | DE - 101 | МОДУЛЬ 5-6 АРХИТЕКТУРА ОБЛАЧНЫХ РЕШЕНИЙ
Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. Тоже самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самый первый шаг в создании решения мы начнем с потребностей клиента и бизнеса, напишем press releases, ответим на все возможные вопросы в FAQ и создадим visuals, включая диаграмму/архитектуру нашего будущего решения или продукта.

Из модуля вы узнаете:
📌   Что такое архитектура
📌   Amazon Working Backwards и Press Releases
📌   Enterprise Architecture Frameworks
📌   TOGAF и Zachman frameworks
📌   AWS и Azure blueprint решения и шаблоны
📌   The 5 Pillars of the AWS Well-Architected Framework
📌   Примеры AWS решений
📌   Диаграммы и архитектуры аналитических решений

В 5 модуле мы узнаем про облачные вычисления, или просто cloud computing. Мы начнем с основ, и поговорим и главных вендорах и их решениях. Я расскажу про свой опыт с облачными решениями и постараюсь вас…
источник
Инжиниринг Данных
В data learn мы максимально хотим помогать людям находить работу, особенно хорошо это работает для тех, кто меняет сферу деятельности или только начал работать. Иногда у нас появляются возможности порекомендовать самых активных студентов на хорошую позицию.

Вот и сейчас у нас есть очень классная возможность порекомендовать и менторить активного студента data learn, который выполнил первые 4 модуля и сделал домашку в компанию Работа ру (Сбер) на позицию "Аналитик Данных" на спец. проекты. Там очень классный stack и современные решения (Tableau, Clickhouse, Python, SQL).

Желателен уровень мидл или мидл-, но могут рассмотреть уровня джуна с возможностью менторства.  

Если есть желающие - пишите @rspon
источник
2021 June 17
Инжиниринг Данных
источник
Инжиниринг Данных
Хотите писать python код как инженеры и дата саентисты Minecraft, тогда вот вам отличный guide от Palantir, который очень популярен в индустрии.
источник
Инжиниринг Данных
Из комментария. Лишний раз показывает, каждый человек кузнец своего счастья, ставим цель и фигачим)) И я уверен, Mike офигенный специалист, потому что он прошел “огонь и воду”, и теперь ему любая задача поплечу.

Еще бы пару фраз Тони Робинса для мотивации))

Лишний раз доказывает, что идея и программа datalearn рабочие. Подход не был придуман, это реально research&development за последние 10 лет, путем проб и ошибок, не плохой вариант изменить жизнь к лучшему.  “Вы все еще сомневаетесь? Тогда мы идем к вам!”(с)😎
источник
Инжиниринг Данных
Если все правильно понял, то можно сдать бесплатно экзамен AWS https://pages.awscloud.com/Globa_traincert_Get_AWS_Certified_Developer_Associate.html
источник
Инжиниринг Данных
источник