Size: a a a

Инжиниринг Данных

2020 February 20
Инжиниринг Данных
источник
Инжиниринг Данных
Все больше и больше постов про имлементацию моделей. (data science, ML, AI, не важно каких). Вот еще одна с использование AWS SageMaker (вычислительные мощности и фреймфорк + pyhton notebooks), Python, контейнер (Docker) и MLFlow (для обеспечения цикла разрботки, например dev-prod). Лично я хочу в этом разобраться, я писал про свою задача для оттока клиентов Alexa, работая с DataScienеtist я масштабирую модель, автоматизирую data pipelines. Остался последний элемент, все это сделать и использование best practices.
источник
Инжиниринг Данных
Список 21 open source для визуализации
источник
2020 February 21
Инжиниринг Данных
Классная вакансия в Авито https://m.avito.ru/company/job/data-analyst
источник
Инжиниринг Данных
О визуализации данных на понятном языке. Почему столбиковые диаграммы строятся только от нуля, как перестать исппользовать чудовищное стандартное оформление из Экселя, почему даже у президента России графики как из 90-х. Разборы неудачных графиков и диаграмм, и события из мира датавиз в канале @chartomojka. Ведущий — преподаватель визуализации данных в Высшей школе экономики, автор книги "Графики, которые убеждают всех" Александр Богачев.
источник
2020 February 24
Инжиниринг Данных
Столько классных apps, которые интегрируются с Wordpress, но еще больше креативных людей, из Виннипега🙊🙈
источник
Инжиниринг Данных
Согласно отчету dice, data engineer #1 вакансия по востребованности. В прошлом году это был data scientist, а до него был big data specialist. А ещё где-то был специалист по визуализации. https://techhub.dice.com/Dice-2020-Tech-Job-Report.html
источник
Инжиниринг Данных
Отличный документ про планирование и внедрение Power BI. Есть ли у вас еще интересные материалы про Data Governance для PowerBI?
источник
2020 February 25
Инжиниринг Данных
В коллекцию картинок. В общем устал я от GIMP, где в ручную надо все делать, и сделал теперь в canva. Получилось классно.
источник
2020 February 26
Инжиниринг Данных
Обожаю эту фотографию Ванкувера, везде ее вставляю и оттенок оранжевый
источник
Инжиниринг Данных
Март напряженный:
4 Марта Snowflake Data Breakfast и потом Snowflake User Group. Заняло много времени, чтобы пробиться к Snowflake. Получилось через community. Я буду там выступать, и договорились провести user groups в Торонто, Калгари и Монреале, и должны все оплатить за перелеты. Юзер группы это круто, где есть доступ к аудитории, там и клиенты. Я буду рассказывать про Cloud Analytics Fundamentals + приколы про Amazon Redshift, который 128 нод.

11 Марта - Vancouver User Group, я теперь и в Виктории, и в Ванкувере являюсь администратором. Долго пробивался к ним, теперь есть доступ ко всей аудитории и заодно я смогу выступать там. Я буду рассказывать про Tableau Prep.

17 Марта - конференция Microsoft - SQL Saturday, я сделал Rock Your Data спонсором (всего за 500$) и буду тоже выступать про Azure Data Platform.

Еще я должен подготовиться к собеседованию в University of Victoria, я подался на преподавателя курса по Data Analytics, это будет финальная презентация. Денег там мало платят, но зато хорошо для связей.

Несмотря на такое большое кол-во мероприятий, сложно все это монетизировать, но мы не сдаемся.

Кстати я видел есть в Москве официальная Tableau User Group, если в апреле приеду на конференцию, то нужно будет организовать ивент.

Про курс обещанный я не забыл. Думаю, вот на каком фоне видео записывать, надо поторопиться, пока загар не сошел))
источник
2020 February 27
Инжиниринг Данных
Снова и снова пишут про data literacy. Идея в том, что руководитель в любой оранизации должен говорить на языке данных, должен понимать данные и уметь использовать базовые инструменты для работы с данными (отчет, дашборд, визуализация)
источник
Инжиниринг Данных
Если вы работаете с Big Data, то вы часто работаете с продуктами Apache (Hadoop, Hive, Kafka). Так же вы слышали про Data Lake, особенно в контексте облака, где много инструментов, чтобы быстро его создать. Когда мы храним данные в озере данных, или вообще работает с большими данными, важно использовать правильный формат данных. Вот хорошая статья про Apache Parquet. Отличная компрессия (10x) и возможность партиционирования, сделала это формат лидером.
источник
2020 February 28
Инжиниринг Данных
Я писал уже, что Redshift выпустил новый кластер RA3. Главная фишка - это разделение compute/storage. В качестве основного storage теперь S3. Очень напоминает Snowflake. Я написал не большой пост про это https://medium.com/rock-your-data/meet-a-new-generation-of-redshift-data-platform-ra3-e65544920866
источник
Инжиниринг Данных
A group of ex-NSA and Amazon engineers are building a 'GitHub for data' https://techcrunch.com/2020/02/20/gretel-nsa-amazon-github-data/
источник
Инжиниринг Данных
Самая свежая презентация про Snowflake.
источник
Инжиниринг Данных
Наконец-то Quicksight опубликовали галлерею дашбордов для индустрий https://aws.amazon.com/quicksight/gallery/
источник
Инжиниринг Данных
Хочу поделиться советом, очевидным, но важным для повышения. Когда мы приходим в новую компанию, мы думаем, что поработаем годик, полтора и нас повысят.

Потом мы уже начинаем общаться с менеджером про повышение, и оказывается, что это не так просто. Возникает множество труднестей.

Но все сводится к одному - мы не обсудили scope, не поставили цели. Если бы в первый день работы, у нас были четкие цели на следующий год, которые вам поставил менеджер, и вы все выполнили по пунктам.

В общем, если есть цель расти, обязательно обсудите цели, что вам нужно сделать и закрепите это на бумаге. Звучит просто, но этого никто не делает и через год, полтора люди разочаровываются и ищут другую работу.

Вы ставите цели перед тем как начать работать в новой компании?
источник
2020 February 29
Инжиниринг Данных
источник
Инжиниринг Данных
источник