Size: a a a

Инжиниринг Данных

2020 October 27
Инжиниринг Данных
источник
2020 October 28
Инжиниринг Данных
Женя Ермаков и Володя Верстов из нашей команды Data Management Platform тоже выступали на Data Fest. Можно послушать как в Такси устроена работа с данными.

Мне больше всего нравится вот этот рассказ, про то, как ребята измеряют эффективность работы с данными и следят за запросами аналитиков к таблицам. У них продуктовый подход к работе. В рассказе есть дашбордики с KPI, сделанные по нашему шаблончику.

Еще есть рассказ про то как в целом построен процесс управления данными и ETL и как выбирали между Data Vault и Anchor Modeling.

https://www.youtube.com/watch?v=EHmf0tTxd6A
https://www.youtube.com/watch?v=Sk_Y30qImgk
https://www.youtube.com/watch?v=_W-38jTkNLM

#ссылка
источник
Инжиниринг Данных
Еще добавить мессенджеры😖
источник
Инжиниринг Данных
Прикольные вакансии с релокацией в Таллин (требуется знание Looker, Snowflake, Cloud и других современных решений). Я вообще слышал, что там целый tech hub и много интересных компаний.
источник
Инжиниринг Данных
Попалась интересная вводная презентация “Modern ETL Tools for
Cloud and Big Data”
источник
Инжиниринг Данных
Чем больше канал, тем больше предлагают рекламировать что-нибудь по теме и нет. Один раз получись сделать рекламу для Яндекс Практикум и они перевели деньги в фонд. В идеале хотелось бы переводить деньги напрямую в детский дом, например, или еще куда-то, что менее популярно, но также нуждается в поддержке. Напишите в комментах, если знаете куда можно будет переводить по возможности.
источник
2020 October 29
Инжиниринг Данных
Амазон запустился в Швеции, возможно будут туда делать релокейшн крутых спецов из России и других стран СНГ.
источник
2020 October 30
Инжиниринг Данных
Не так давно я переименовал свой Linkedin с Data Engineer в Analytics Engineer. И потом крус на datalearn переименовал из Data Engineering в Analytics Engineering.  Как видно из подкаста я это сделал не случайно. Если data engineer фокусируется на разработке pipelines, то analytics engineer для меня делает полностью весь цикл решения end to end. Интересно, что он делает согласно подкасту
источник
2020 October 31
Инжиниринг Данных
Заключительный урок для модуля 3: Fancy BI Tools

На рынке существует огромное количество BI инструментов. В модуле 3 мы уже познакомились с лидерами индустрии и попробовали их в деле. Так же мы попробовали разные сервисы для визуализации. А теперь, чтобы полностью закрыть тему Business Intelligence, я хочу вас познакомить еще с рядом интересных BI решений, которые активно используются на западе.

В этом видео мы узнаем:
📌   Про fancy BI tools
📌   ThoughtSpot
📌   Looker
📌   Opensource решения Redash и Dash
📌   Mode, Sigma, Chartio
📌   Посмотрим на финальный проект для модуля 3
источник
Инжиниринг Данных
Microsoft время не теряет и выпустил очень интересный сервис, причем бесплатный - Microsoft Clarity. Это инструмент для веб аналитики аналогично google analytics, который так же позволяет записывать клиентские сессии и смотреть heatmap по кликам. В общем очень интересное решения с точки зрения аналитики, особенно если строить решение на Azure. Интересно какие там ограничения.
источник
Инжиниринг Данных
Как говаривал Остап Бендер - “«Лёд тронулся, господа присяжные заседатели!»” И вот уже интро для модуля 4 про интеграцию и трансформацию данных.
источник
2020 November 02
Инжиниринг Данных
Мы часто слышим про serverless архитектуру решений, в том числе и аналитических. На русском языке мало ресурсов по AWS, но вот есть хорошая статья про AWS Lambda (function as a service).
источник
Инжиниринг Данных
Data Engineer + Data Scientist
источник
2020 November 03
Инжиниринг Данных
Переслано от Roman Ponomarev
источник
Инжиниринг Данных
Введение в Pandas на русском. https://dfedorov.spb.ru/pandas/
источник
2020 November 04
Инжиниринг Данных
источник
Инжиниринг Данных
Из slack #datalearn
источник
Инжиниринг Данных
Заказал книжку с многообещающим названием - Data Engineering with Python.
источник
Инжиниринг Данных
И еще Designing Cloud Data Platforms. Ее пишут уже больше года и планируют закончить в январе 2021. За время пока ее пишут технологии сильно меняются, это минус книг про технологии. Пока мы пишем книгу, появляются новые фичи и подходы и книга может быть немного устаревшей). Один из авторов наш соотечественник - Danil Zburivsky.
источник
Инжиниринг Данных
Очень удобно получилось - VSCode + Markdown Preview. И все это дело sync через GitHub Desktop. Будущее наступило для меня))
источник