Size: a a a

Инжиниринг Данных

2020 November 10
Инжиниринг Данных
Всем привет! Хотел с вами поделиться новостью. Себе на день рождение (у меня 10 ноября🥳) я сделал интересный подарок. Я уволился из Амазон, почти после 5 лет работы и устроился в Microsoft в Ванкувере, на позицию Senior Data Engineer в gaming. Буду строить платформу данных для студии, которая выпускает Gears of War. Теперь полностью погружаюсь и индустрию игр. Мой старший сын рад больше меня))) Да и мне тоже нравиться.

Но я все еще не люблю Power BI и SSAS кубы. В качестве решения, я хочу использовать Databricks, чтобы создать Delta Lake.  В целом мне нравится, что я могу создать impact на студию и построить что-то инновационное для индустрии игр в Microsoft, осталось придумать что и как🙈

PS если есть крутые ресурсы и видосы по теме, кидайте в комменты.
источник
2020 November 11
Инжиниринг Данных
Уже ни раз говорили про DBT tool, инструмент для трансформаций данных (ELT) с помощью SQL. Они получили 2й раунд инвестиций.
источник
2020 November 12
Инжиниринг Данных
Вот и mail.ru выкатил свои облачные сервисы, будет у них вебинар и можно будет сравнить с Яндекс облаком. https://events.webinar.ru/mcs/bigdata1
Webinar.ru
Вебинар «Как управляться с данными: большими и не очень. Современные платформы в облаке»
Любая компания, которая хочет остаться конкурентоспособной, должна найти подход к данным, которые она генерирует. В них часто — ключ к пониманию клиентов и процессов.

Но данные сейчас мало просто хранить. Для того, чтобы извлекать из них пользу, должен быть реализован полный цикл управления ими: это хранение, обработка, анализ и автоматизация принятия решений на его основе.
Мы расскажем о том, как платформенные решения современного облака позволяют вам построить правильную инфраструктурную основу для управления данными: от хранения до машинного обучения и предиктивной аналитики.

Новый стандарт корпоративных баз данных, современные хранилища и DWH, подход к безопасности хранения информации, расширенные аналитические возможности, которые предоставляет облако, и платформенная основа для Data Science — коснемся этих моментов и подробно рассмотрим как решать следующие задачи:
- Загрузка данных в облачное хранилище
- Хранение, обработка и анализ данных
- ML, Data Science
- Визуализация
А также рассмотрим несколько…
источник
Инжиниринг Данных
День про Инжиниринг Данных, должно быть интересно. Как я понял есть доступ на бесплатные доклады, так что обязательно посмотрите, Алексей собрал крутецкие доклады. 😎
источник
Инжиниринг Данных
Андрей Осипов, в своем канале "Школа бородатого аналитика" публикует как свои материалы (в последнее время больше про bigquery и новую версию google analytics 4), так и интересные и полезные решения в целом, про веб-аналитику и инженеринг данных;

А еще он сделал группу поддержки (https://t.me/firebase_app_web_bigquery), для тех, кто хочет использовать ga4, firebase analytics и bigquery в своих проектах.
источник
2020 November 13
Инжиниринг Данных
Следом за мной, создатель python тоже устроился в Microsoft 🤗(или наоборот).
источник
Инжиниринг Данных
Databricks выпустил BI функциональность для своей платформы.
источник
Инжиниринг Данных
источник
Инжиниринг Данных
На дворе ноябрь, и многим из нас не хватает теплых летних ночей в лесу вокруг костра ✨

Ребята из ProductStar решили устроить digital-конференцию и воссоздать эту волшебную атмосферу. В чиле спикеров у цифрового костра — тим-лиды Яндекса, HH, SEMrush, DeliveryClub, Skyeng. 30 докладов, круглые столы, работающие инструменты и закрытые группы в чатах. Не хватает только вас 😉

Мероприятие будет полезно всем, кто работает в сфере IT — от новичков до профессионалов. Лучшие практики российских и зарубежных компаний проведут лекции по четырем направлениям:

— Продакт-менеджмент
— Аналитика
— Разработка
— Маркетинг

Кроме того, можно будет поучаствовать в воркшопах, спросить советы о своих проектах и принять участие в нетворкинге!

ProductStar TeamLead Festival пройдет 21 ноября онлайн и будет абсолютно бесплатным!

Не упустите возможность провести время с пользой в приятной компании топовых спикеров!

Больше подробностей по ссылке 👉 https://bit.ly/32Cjfqn
источник
2020 November 14
Инжиниринг Данных
Опубликован список докладов конференции Coalesce (да-да, от тех самых создателей dbt, которые недавно вновь привлекли инвестиции).

Самое время зарегистрироваться и добавить интересующие доклады в свой календарь.

Среди наименований встречаются интересные вещи типа: «Cleaning the fish: A sushi-inspired approach to clean datasets» 🍣🧹📁
источник
2020 November 15
Инжиниринг Данных
Давным давно (в 2010) я нашел курс на русском на Интуите - Проектирование хранилищ данных для приложений систем деловой осведомленности (Business Intelligence Systems). Курс содержит в себе много теории про базы данных, моделирование и особенно полезен если вы планируете строить решения в Microsoft BI и использовать OLAP кубы SSAS (что еще часто бывает требование работодателя на отечественном рынке).

В общем, если учитесь, стоит пролистать лекции, может чего полезного найдете.
источник
2020 November 16
Инжиниринг Данных
Хороший пример создания аналитического решения.
источник
Инжиниринг Данных
Запись митапа Wrike про Data Egnineering.
источник
Инжиниринг Данных
Инструментов для интеграции и трансформации данных (ETL/ELT) существует огромное множество. В этом уроке мы рассмотрим самые популярные решения на рынке и разделим их на типы по цене и удобству. В этом видео вы узнаете про:

📌   Типы ETL решений
📌   Квадрант Gartner и Forrester
📌   Gui vs Non-Gui
📌   Коммерческий ETL - Microsoft Integration Services и Informatica Power Center
📌   Open Source ETL - Pentaho, Apache Nifi, Apache Airflow, DBT Tool
📌   Облачный ETL - Matillion, Fivetran, AWS Glue, Azure Data Factory

https://youtu.be/wksfXoeNO7Y
источник
2020 November 17
Инжиниринг Данных
У меня всегда было такое чувство, не знал как правильно словами сказать, а тут хорошо расписали как работает рынок.
источник
Инжиниринг Данных
В Microsoft проходит внутренняя конференция по ML. Конференция как конференция, куча непонятных штук про ML. А вот, что мне понравилось, что есть сессии для детей и родителей, например построить голосового помощника или собрать Raspberry PI и другое. Я такого вообще никогда не встречал. К сожалению все эти вещи уже booked.  Это вообще супер крутая идея для онлайн конференций, организаторам на заметку)

Еще из интересного, у Microsoft есть Garage. То есть это помещение, где стоят станки, 3D принтеры и другое оборудование и все могут приходить и учавствовать и изучать новые вещи, причем с детьми. Конечно сейчас это все онлайн.

Разница в культуре между Амазоном и Майкрософт большая, хотя я тут всего неделю.

Кстати, я нашел крутой ресурс - Space Data Camp для детей и их родителей. Очень рекомендую - английский попрактикуется, с детьми будет чем заняться. И там еще много ресурсов и workshop для детей связанных с ИТ.
источник
Инжиниринг Данных
Согласно исследованиям MIT Sloan - How to build a data-driven company, главным катализатором является культура компании, культура по работа с данными и общая грамотность (data literacy). Одних дорогих аналитических инструментов и опытных data engineer/scientist/bi недостаточно.
источник
2020 November 18
Инжиниринг Данных
Generate a data-driven strategic advantage for your people and customers.
источник
Инжиниринг Данных
Скоро начнется Data Cloud Summit (Snowflake). Очень рекомендую посмотреть keynote, чтобы понять куда движется индустрия.
источник
Инжиниринг Данных
Слышали про pseudo code? Это как бы код, но нет код. Отличный вариант, когда не знаем как решить задачу и написать настоящий код. Мы можем нарисовать решение использую псевдокод. Так же работает для собеседований.
источник