Size: a a a

Инжиниринг Данных

2021 April 09
Инжиниринг Данных
Microsoft продолжает экспериментировать с дата центрами. В статье они используют в качестве охлаждения специальную жидкость. До этого они проводили эксперимент, в котором положили дата центр на дно океана в специальной капсуле. В статье будет ссылку на это.

Крупные tech компании обсуждают экологические проблемы и сокращение выброса CO2. Датацентры потребляют огромное количество энергии и один из главных расходов - охлаждение.
источник
Инжиниринг Данных
Вы используете облачные вычисления в работе? (Cloud computing). То есть решения и продукты крупных облачный провайдеров.
Анонимный опрос
22%
Amazon Web Services🍌
10%
Microsoft Azure🪟
20%
Google Cloud Platform🔎
7%
Yandex Cloud🚩
1%
Mail Cloud💌
8%
Мы пользуемся услугами хостинга (арендуем виртуальные машины)🛠️
6%
Планируем изучать западное облако🌈
4%
Планируем изучать отечественное облако🤞
22%
Не используем и не планируем🦕
Проголосовало: 497
источник
Инжиниринг Данных
источник
2021 April 10
Инжиниринг Данных
Сегодня на работе затронули важную тему, которую часто упускают из виду, и потом получается не очень комильфо.😵‍💫 Я кстати всегда на эти грабли наступаю. Это naming convention. То есть как вы будете называть ETL jobs, ресурсы в облаке, хосты баз данных, и другие компоненты инфраструктуры. У Azure есть хороший документ про это. Скиньте в коменты ещё полезные ссылки по этой теме.
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Для оптимизации запросов через Apache Spark используется система индексации данных hyperspace. Вот описание от Synapse, но там есть ссылка на основной продукт. Используете? #spark
источник
2021 April 11
Инжиниринг Данных
На конференции Microsoft ignite было много новинок, их можно найти в книге.
источник
Инжиниринг Данных
Оказывается Билайн, это не только мобильный оператор. У hive есть CLI приложение beeline, которое позволяет через командную строку подключаться к spark через JDBC. Кто-то использовал? #spark
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Анастасия Дробышева записала новое видео для своего курса:

Курс "Поиск работы для аналитических специальностей в России и за рубежом". Модуль JH 1-4. Стратегия поиска работы. Профессиональное ценностное предложение (PVP)

Что обсуждаем в этом видео:

- зачем PVP и где его применять;
- 3 шага для формулировки PVP;
- 2 примера PVP для аналитика данных и продуктового аналитика.

Шаблон PVP на русском:

Я ____ специалист с опытом в ____ (индустрия/ продукт). Мои сильные стороны - это ____, ___ и ___. Мои достижения/ примеры проектов: _____. Я буду рад(а) применить свои знания в качестве ______ (название должности) в ____ (индустрия/ компания).

Шаблон PVP на английском:

I am a ________________ professional specialising in ________________ . My strengths
include ________________ and ________________ . I have achieved ________________
and ________________ and am excited about ________________ in my next role.
источник
2021 April 12
Инжиниринг Данных
Open sourcing Querybook  (Pinterest’s collaborative big data hub) (https://medium.com/pinterest-engineering/open-sourcing-querybook-pinterests-collaborative-big-data-hub-ba2605558883)
We started to interview data scientists and engineers about their workflows while scoping out technical details. Shortly, we realized most were organizing their queries outside of the official tool, and many used apps like Evernote. Although Jupyter had a notebook user experience, its requirement to use Python/R and the lack of table metadata integration deterred many users. Based on this finding, our team decided Querybook’s query interface would be a document where users can compose queries and write analyses all in one place with the power of collocated metadata and the simplicity of a note-taking app.
источник
Инжиниринг Данных
В этом блоге очень классные рисунки и все по делу написано про основы основ https://luminousmen.com/post/cap-and-pacelc-theorems-in-plain-english
источник
Инжиниринг Данных
📈 Руководство по визуализации данных

Ребята из Германии сделали классное руководство по визуализации данных и открыли его под лицензией Creative Commons.

А чтобы никто не догадался и не оценил их труд — назвали максимально непонятно и спрятали на сайте в слабочитаемом виде.

Но я все равно нашел!

Поэтому теперь у вас есть бесплатная книга по визуальному представлению данных для отчетов и дашбордов. Подробная (150 страниц) и практическая (197 иллюстраций). В вебе, epub и pdf:

https://antonz.ru/dataviz-guide/
источник
Инжиниринг Данных
Lakehouse = data warehouse + data lake. То есть берём лучшее, что есть у обоих подходов и получаем домик у озера))

Пример коммерческих решений snowflake, synapse analytics, databricks.

https://medium.com/snowflake/selling-the-data-lakehouse-a9f25f67c906
источник
2021 April 13
Инжиниринг Данных
Ещё один студент #datalearn нашел работу. До этого у него был небольшой опыт с Экселем и данным. Он работал с маркетинговыми кампаниями. Из 12 собеседований он получил 4 оффера. Я очень рад за человека, которые поставил цель и добился, даже несмотря на первоначальные неудачи и провалы. Вот его словами:

Дима, привет! Хочу выразить благодарность тебе и всему сообществу даталерн! Почти месяц прошёл с тех пор, как я на новой работе. Работа нравится, связана с обработкой и хранением данных, как я и хотел изначально. По ЗП тоже не обидели.

Но не скажу, что это было легко :)  Кучу нового пришлось изучить, а еще больше приходится изучать  уже на работе) Но, как говорится, дорогу осилит идущий.


Записался на курс одним из первых, когда он только стартовал в июне или конце мая, точно не помню. Скорее так, для общего развития. Про sql если что-то и знал, то это  select звездочка.  Слова data warehouse,   кимболл, звезда - все это звучало для меня, как клингонский.
Но потом ничего, втянулся. Ты понятно объясняешь и самое главное дал мне понимание всей картины, как это работает вместе. Кто есть кто в команде по работе с данными и зачем вообще это нужно.
По отдельным инструментам вроде sql, tableau , bash и питона я уже отдельные курсы гуглил и их проходил, благо их навалом.

Оглядываясь назад, дал бы себе следующие советы

1. Выбрать что тебе ближе  bi, data engineer, аналитика данных, data science  и. т. д и сфокусироваться на этом.

2. Чем раньше начнешь ходить на собесы, тем лучше. Быстрее поймешь чего не хватает, правильнее расставишь приоритеты в обучении. Мысли вроде, да я ещё подтяну это или то, тогда начну ходить - это все отмазки мозга, чтобы не вылазить из зоны комфорта. Идеального момента никогда не будет, всегда будет чего то не хватать. Еще и забудете, что учили ранее.

3. Любая информация забывается, если её не повторять и нигде не использовать.
Я три раза курсы по базовому sql  проходил. Три раза за неполный год Карл! А потому что на старой работе он был не нужен, а перечитывать теорию мне было лень. Только, когда начал пилить свои пет проекты, где использовал  sql и складывал их на гитхаб, тогда в памяти начало что-то откладываться. Отсюда ещё одна рекомендация

4. Заведите репозиторий на гитхабе и скидывайте туда свои проекты. Или дашборды в табло паблик, смотря чем решили заняться. Прошли курс- сделали проект.  Так и в памяти лучше отложится и на собеседовании   можно показать. И на работе пригодится, если попадется похожая задача, то сэкономите время, будете хоть понимать куда копать
Чем раньше начнешь ходить на собесы, тем лучше. Быстрее поймешь чего не хватает, правильнее расставишь приоритеты в обучении. Мысли вроде, да я ещё подтяну это или то, тогда начну ходить - это все отмазки мозга, чтобы не вылазить из зоны комфорта. Идеального момента никогда не будет, всегда будет чего то не хватать. Еще и забудете, что учили ранее.

3. Любая информация забывается, если её не повторять и нигде не использовать.
Я три раза курсы по базовому sql  проходил. Три раза за неполный год Карл! А потому что на старой работе он был не нужен, а перечитывать теорию мне было лень. Только, когда начал пилить свои пет проекты, где использовал  sql и складывал их на гитхаб, тогда в памяти начало что-то откладываться. Отсюда ещё одна рекомендация

4. Заведите репозиторий на гитхабе и скидывайте туда свои проекты. Или дашборды в табло паблик, смотря чем решили заняться. Прошли курс- сделали проект.  Так и в памяти лучше отложится и на собеседовании   можно показать. И на работе пригодится, если попадется похожая задача, то сэкономите время, будете хоть понимать куда копать
источник
2021 April 14
Инжиниринг Данных
Интересные новости, к вопросу жив Hadoop или мертв🤞

Apache Foundation объявила, что 19 продуктов идут на пенсию, 11 из которых big data штуки.

Конечно концепты Hadoop важны и применяются по сей день, но уже не в первоначальном виде.

https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/
источник
Инжиниринг Данных
Все так, но мы часто забываем об этом. Ничего лишнего, только по делу. Кстати в Амазоне для позицйи Senior и выше, будет тестовое задание по writing. Сейчас у нас в Microsoft культуры writing нет, одни power point, печалька.
источник
Инжиниринг Данных
источник
Инжиниринг Данных
У #datalearn ,есть небольшое сообщество девушек. Недавно они взяли интересное интервью с Ксенией Певзнер, она - руководитель по маркетинговой аналитике самого крупного российского легального онлайн кинотеатра “Окко”
https://youtu.be/jOQXozaOYuo
Беседа об аналитике, жизненном пути, необходимых компетенциях и многом другом.
источник
Инжиниринг Данных
Небольшой ролик про AWS use cases для спутников. Отличная идея для стартапа - аналитика спутниковых данных. А то все маркетинговые кампании анализируем))
источник