Size: a a a

Инжиниринг Данных

2021 May 25
Инжиниринг Данных
Delta Lake новый релиз - версия 1.0.0 https://github.com/delta-io/delta/releases/tag/v1.0.0
источник
Инжиниринг Данных
Переслано от Roman Zykov
Ребята, привет!
У нас на звонке спрашивали про автограф на книгу


Автор книги "Роман с Data Science. Как монетизировать большие данные" Роман Зыков проведет автограф-сессию.

Она пройдет в Москве в книжном магазине Республика на Маяковской 27 мая (четверг) c 19:00 до 21:00. Автор также даст бесплатные консультации по теме анализа данных в бизнесе. В самом магазине будут в наличии экземпляры книги, которые можно приобрести. Количество ограничено. Не забудьте маски.

Адрес: Москва, м. Маяковская, ул. 1-я Тверская-Ямская, 10. Книжный магазин "Республика".
Дата и время: 27 мая с 19:00 до 21:00
источник
2021 May 26
Инжиниринг Данных
Куда будет развиваться инжиниринг данных следующие 5 лет?
источник
Инжиниринг Данных
When we look at companies with mature data practices, we only see the final, stable metrics and dashboards. However, simple metrics like "What is the unique user count for this week"? the definition of unique can have multiple answers, and make no mistake, they all more or less correct. Are metrics real? Are we creating an analytical mess with multiple definitions of metrics? The author narrates how it's not only normal, but it's also necessary.

https://benn.substack.com/p/analytics-is-a-mess
источник
Инжиниринг Данных
В этом году Xbox исполняется 20 лет! https://www.xbox.com/en-CA/20-years-of-xbox
источник
2021 May 27
Инжиниринг Данных
Кто добрался до автограф сессии - молодец!;)
источник
Инжиниринг Данных
Переслано от Pavel
Встреча в разгаре.
источник
Инжиниринг Данных
источник
2021 May 28
Инжиниринг Данных
Работа из дома, как все знакомо... https://youtu.be/Rgx8dpiPwpA
источник
Инжиниринг Данных
Databricks в журнале Forbes
источник
Инжиниринг Данных
Возможно вы слышали, что Амазон купил старейшую студию MGM https://press.aboutamazon.com/news-releases/news-release-details/amazon-and-mgm-have-signed-agreement-amazon-acquire-mgm

Чтобы добавить больше контента в Amazon Prime и догнать (может и обогнать Netflix и Disney). На картинке страница из свежей книги, где в 2004 году похожую идею обсуждали про Kindle.

Так же действует и Xbox, покупая крутые студии.
источник
Инжиниринг Данных
Вы слышали про Chrome Music Lab? Дети в школе изучают, можно послушать как звучит слова data или сделать свое что-нибудь, а детям будет вообще интересно. https://musiclab.chromeexperiments.com/Song-Maker/song/5422805158461440
источник
Инжиниринг Данных
И последняя полезная ссылка, тоже из школы, я обожаю этот ресурс https://www.getepic.com/app/

Это что-то вроде библиотеки детских книжек, где есть разные уровни. У меня дочь в 6 лет научилась читать сама по ней, можно выбрать книжки с картинками на любую тему, и вам будут их читать с выражением и каждое слово выделять, а вы можете повторять. Для детей must have! Да и взрослым должно подойти, кто только начинает изучать язык. Из всех школьных программ это моя самая любимая! Есть ещё https://ca.ixl.com/ там как игра RPG с заданиями, но так себе.
источник
2021 May 30
Инжиниринг Данных
Хочу вам рассказать про интересную технологию - Azure Data Explorer. Это аналог Splunk и Elastic Search/Log Stash.

В статье есть история продукта и его кодовое название - Kusto, в честь того самого водолаза (я в детстве смотрел по телевизору его погружения). История началась с 4х разработчиков Power BI, которым надо было делать troubleshooting.

Сейчас это отдельный продукт, которой может собирать и хранить структурированные, полу и не структурированные данные. Может писать в него огромное количество данных и сразу писать к ним запросы языком KQL. Хорошо развита text analytics и есть функции ML.

Идеально подходит для логов и телеметрии. Но в Microsoft Gaming многие студии используют его вместо data platform и из палок и секретного ингредиента создают BI решение, которое работает.

Я всегда разделяю аналитику на операционную и на обычную (DW, big data, Lakehouse, data platform).  Операционная удобна для быстрого доступа к текущим данных, почти как стриминг. Мы можем писать все логи и телеметрию и получаем доступ к данным с задержкой в секунды. Разработчики игр и QA могут легко отлавливать баги в реальном времени, что удобно, а вот для серьезного аналитического решения этого не хватает.

PS Но так то, можно и экселем обойтись. Не бывает хорошего и плохого решения, бывает более удобное и менее удобное. Кому с чем удобней.

В курсе я хочу рассмотреть операционную аналитику на примере Splunk и Azure Data Explorer (модуль 6 или 8).
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Когда начался кипишь по Data Science в 2012-2013 году, было 2 супер книжки по этой теме, и они все еще актуальны:
Doing Data Science - в этой книги мне понравилось как автор искал Data Modeller для DS, и попадались только DW data modeller и они поняли, что это вообще разные вещи))
Data Science for Business

Эти книжки можно легко найти в PDF.
источник
2021 May 31
Инжиниринг Данных
26 мая был Google Data Cloud Summit, можно посмотреть запись.
источник
Инжиниринг Данных
Презентация - Principal Engineers - Who Needs Them? Интересные bullet points. Сама презентация про SDE, но для DE тоже подойдет.

Для меня это идеальная карьерная цель стать Principal Data Engineer в Microsoft или Amazon, не знаю насколько она реальная, но точно хорошая альтернатива менеджера и по $ не обижают😎
источник
Инжиниринг Данных
источник
2021 June 01
Инжиниринг Данных
Несмотря на то, что Delta Lake ,книга выйдет в Апреле 2022, уже сейчас можно получить к ней доступ на O'Reilly
https://www.oreilly.com/library/view/delta-lake-the/9781098104580/
источник