Кейс американской финансовой организации - миграция на AWS. В 30 раз дешевле, и в 20 раз чаще деплоймент. Действительно, когда переносим все в облаком с on-premise, все становится быстрей и дешевле. Жалко таких кейсов не будет в России. Кстати кто-нибудь может поделиться информацией про Яндекс, меил или крок облако? Я бы тут расшарил.

Data engineers vs. data scientists

The two positions are not interchangeable—and misperceptions of their roles can hurt teams and compromise productivity. https://www.oreilly.com/radar/data-engineers-vs-data-scientists/?utm_source=linkedin&utm_medium=matillion

Вакансия попалась Engineer Hadoop в Краснодаре, там же тепло!

Годное описание вакансии, Москва

Новости в картинках https://informationisbeautiful.net/beautifulnews/

n=0
while n < 3:
 print ("Ho!")
 n += 1
print("Merry Christmas!")
Merry Christmas!

Отличная возможность начать изучать Google Cloud - https://cloudonair.withgoogle.com/cloud101

Много интересных материалов про Data Engineer.

А вот новая публикация про Kafka от стажера https://medium.com/rock-your-data/getting-started-with-apache-kafka-efc616bd6dd5

Возможно хороший SQL курс, где можно сразу в браузере писать код https://datamovesme.com/2019/12/30/free-sql-for-data-science-course/

Если вы работаете с Power BI, то вы слышали про PowerApps и Flow. Не знаю как у вас, но в Северной Америке это очень сильный тренд и все хотят эту штуку. Я сам еще не разобрался особо, но вот нашел интересный кейс про мгновенные инсайты с помощью Power BI, Power Apps, Flow и Azure ML. Причем чувак, который выступает тоже с Виктории.

А вот еще интересный момент. Все уже наигрались в data science, deep learning. Организации используют решения уже в продакшене, и важно, чтобы модель была масштабируемая (объем данных на входе, вычислительные мощности), важно цикл модели, так же как и с обычным кодом, есть среда разработки, есть тестирование и продакшн. Это все называется MLOps.

Как раз сейчас я себе нашел хобби в Alexa, в свободное от работы время, помогать data scientist задеплоить модель на SageMaker и построить весь цикл и масштабировать модель, так же автоматизация, чтобы предсказать отток Alexa клиентов, заодно и разобраться во всей этой истории. Так же это и про взаимодействие data engineer и data scientist.

А вот и статья на linkedin, которая мне напомнила про все реалии с моделями.

Как часто у вас есть стратегия данных? Я работал во многих компаниях, но практически никогда я не видел документа "Стратегия Данных", который должен оторбражать "Стратегию и Видение бизнеса", чего я то же не часто видел, чаще общие слова и направления. Вот и получает, кто в лес, кто по дрова.

Хорошая статья про Успешную стратегию данных. Как обычно, самое главное это польза бизнесу. Другой интересный момент - "So a serious pitfall I have seen over many years is that implementations or updates are done only for the sake of technology advances, without solving business" - то есть мы просто гонимся за новыми технологиями (cloud? big data?data lake?ml?) и особо не решаем вопросы бизнеса.

Как сказал Джим Рон - "Успех это 20% навыков и 80% стратегия".

В общем в новом году желаю вам фокусироваться не только на своих скилах, но и подумать над стратегией своего роста в длинной перспективе.

Лучшая книга по AWS. Если вы серьезно работает с AWS, то стоит приобрести, авторы знают о чем говорят.

Курс на coursera - Cloud Computing Concepts. Это часть специализации. Модуль 4 будет про ML и Big Data