Size: a a a

Инжиниринг Данных

2020 December 24
Инжиниринг Данных
Оказывается у мужских коллективов есть название:  https://en.m.wikipedia.org/wiki/Bro_culture
источник
Инжиниринг Данных
Аналитическое решение = data product. В статье автор дает Best Practices for Data Engineering. Это все хороше иметь, но можно не в первую очередь.

- Version Control
- Automated testing and deployment
- Make and keep data available
- Test and communicate data quality
- Share best-practices with colleagues
- Build immutable datasets

В общем Unit Tests + DevOps помогут сделать решение более качественным.
источник
Инжиниринг Данных
У data сообщества большие планы на dbt.
источник
Инжиниринг Данных
Не знаю почему они решили уголь, наверно это исторически, всем кто плохо вел себя, Санта уголь приносил. Кстати русским детям в Канаде везёт, получают подарки на кристмас (то есть сегодня) и потом ещё на новый год))
источник
2020 December 25
Инжиниринг Данных
Самое крупное сообщество Microsoft - PASS (множество user groups, meetups, workshops, conferences ,SQL Saturdays and so on) объявило о своем закрытии. Я выступал несколько раз на их митапах и онлайн митапах, так на SQL Saturdays, так же на одной Rock Your Data, была спонсором(решил поддержать организаторов). Такого крупного сообщество больше нет, они делали очень много для мира Microsoft, жалко, что не пережили. И странно, что Microsoft не поддержал своих адептов.  Но это говорит о том, что их подход устарел и их бизнес модель не работает. Нельзя использовать тоже самое, что было хорошо 10-15 лет назад. И когда, что-то умирает, на его месте вырастает, что-то другое, интересно, что будет. Ну и ждать помощи от вендора бесполезно, нужно рассчитывать только на себя.
источник
Инжиниринг Данных
Слышали про Monte Carlo simulation? Ее можно сделать в эксель. Я читал про это в книге How to measure anything. Кстати автор книги выступал у меня в Amazon BI Tech talks. У него ещё есть интересный метод - правило 5, почти фокус, но статистически правильный.
источник
Инжиниринг Данных
Про BI так же должно быть)) кстати, одно время было очень круто делать резюме в Tableau Public, есть много примеров хороших, очень не стандартный способ привлечь к себе внимание. https://public.tableau.com/en-us/s/blog/2016/09/how-create-interactive-resume-tableau
источник
Инжиниринг Данных
​​Что вам скажет коуч миллиардеров на личной консультации? Весь 2020 год я искала ответ, жадно поглощая контент. И вот, что я нашла.

Важное. Чтобы уберечь мозг от очередного эксперта, я стала осторожной. Доверять можно, если есть честность и креативность. Остальное - растущая энтропия нашего века.

Доверие и любовь случились к трудам Марины Мелия. Особенно понравилась её свежая книга - «Хочу, могу, надо». Почему я поверила автору?

🌞 Опыт. Практика Марины Мелия в бизнес консультировании измеряется десятками лет. Её называют "коучем миллиардеров", так как многие её клиенты стали миллиардерами.

🌞 Честность. На первых страницах книги я увидела отсылки к Эриху Фромму, Эрику Берну и Абрахаму Маслоу. Это три автора в психологии, книги которых я зачитала до дыр. Это еще когда я физиком хотела понять фундаментальные основы психологи. Считаю, все три - мастхев.

🌞 Креативность. Зная теорию того же Берна, я восхитилась её развитием. Марина Мелия адаптировала модель сценариев жизни людей на наше поколение и Россию. Фундаментальная психология заиграла новыми красками. Стала реальной и конкретной. А значит, понятной.

О результатах говорить безусловно рано. Я прочитала книгу недавно. Но мое окружение расцветает как бутон лотоса. Думаю, не без эффекта книги.

Сейчас я в состоянии "знаю, как надо". Это касается и отдельных сфер жизни, и картины целиком.

🦸 Лена-предприниматель. Относительно дела я увидела, как установки из  детства мешали мне сближаться с единомышленниками и заставляли играть на чужом поле.

👍 О выгорании. Я поняла, почему часто работаю не в плюс себе или проекту. Стала сильнее относительно манипуляций в сотрудничестве и работе с клиентами.

👍 О чуйке. У меня мощнейшая бизнес-интуиция. Звучит не скромно. Но все, кто меня близко знает, замечали. Интуиция есть, а доверия к ней ноль. С этим я продолжаю работать. Но книга детально подсветила мне проблему со всех сторон.

👍 О том, как все слить. Лично я регулярно сливала дорогие сердцу проекты. В том время как менее ценные закрывала качественнее. Источники этой проблемы так же полечились в процессе прочтения книги.

👍 О главном. Достигаторство и трудогодлизм. Я работаю, чтобы быть счастливой. Не ради очередного поста с тысячью лайков. Не ради признания, что я крута. Пожалуй, кроме счастья личного мне надо, чтобы мама восхитилась мной и дети продолжали гордиться. Прочем для последнего я могу просто испечь свой фирменный  нежнейший чизкейк.
источник
2020 December 26
Инжиниринг Данных
источник
Инжиниринг Данных
Классный deep fake.
источник
2020 December 27
Инжиниринг Данных
Как должно выглядеть описание современного руководителя по инжинирингу данных:

• Provide strategic data engineering guidance to our Capability within <company name>, and our clients.
• Work closely with our team and clients on the discovery and delivery of complex projects, promoting a data engineering best practices.
• Research, explore, and evaluate the latest data engineering technologies and methodologies, continuously looking to improve my own skill set.
• Support the growth of our team members, sharing my experience and skills through training, and mentoring.
• Be a analytics and data engineering champion internally and externally, advancing our core data engineering practices, and engaging with the analytics community.
• Be an inclusive leader that provides an environment that allows everyone to flourish, individually and collectively, coaching and guiding people rather than giving directives.


Причем тут почти 50% это развитие своей команды и культуры, в который каждый является важным элементом и контрибьютером, чтобы все были счастливы (напоминает историю с классической музыкой в коровнике, когда коровы дают больше молока и наш учитель английского всегда включал классику, когда мы писали контрольную). Остальные 50% поделены между существующими навыками и знаниями по инжиниринга данных или любой другой специализацией и возможность учиться и развиваться в своей области. Это пример вакансий Director/VP инжиниринга данных.

PS data engineering можно заменить на data science, software engineering, qa и тп
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник
Инжиниринг Данных
А что для вас справедливая зарплата? Интересное видео.
источник
2020 December 28
Инжиниринг Данных
12 сценариев для потенциальных проектов Data Science. Где-то даже есть ссылки на датасеты.
источник
Инжиниринг Данных
У меня завалялось видео про мой сетап, еще в Амазоне, оно короткое, решил загрузить, чтобы не пропало. https://youtu.be/2G9l7tISp7s
источник
Инжиниринг Данных
Роман Бунин построил еще один замечательный дашборд на базе данных YouTube Data API. Очень хорошо прослеживается эффект синергии (усиливающий эффект взаимодействия двух или более факторов, характеризующийся тем, что совместное действие этих факторов существенно превосходит простую сумму действий каждого из указанных факторов🤗)  Data Learn и Reveal the Data. Надо продолжать коллаборация😜
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Язык R, не смотря на своё узкое назначение, входит в топ 10 наиболее популярных языков программирования согласно различным рейтингам, включая TIOBE. А для анализа данных R является чуть ли не стандартом отрасли наравне с Python.

Хочу порекомендовать канал @R4marketing. Автором которого является Алексей Селезнёв, руководитель отдела аналитики в Netpeak.

Канал посвящён языку R. На данный момент там собрано огромное количество русскоязычных материалов по изучения R:

- Статьи
- Видео уроки
- Вебинары и доклады с конференций
- Заметки по R
- Книги
- Бесплатные онлайн курсы
- Новости и релизы из мира R

В канале опубликовано более 450 ссылок на русскоязычные материалы по R.

Кому интересно - подписывайтесь!

https://t.me/R4marketing
источник
2020 December 29
Инжиниринг Данных
Из жизни:

-Мы только что внедрили Machine Learning!
-Ваша модель быстрая?
-Нет.
-Ваша модель дешёвая?
-Нет.
-Ну хотя бы она решает бизнес проблему?
-Нет. Но она является произведением инжирингового искусства и построена с помощью самых современных инструментов!

Мне кажется у меня похожий подход про решения data engineering 🤗
источник