Size: a a a

Инжиниринг Данных

2020 October 01
Инжиниринг Данных
источник
2020 October 02
Инжиниринг Данных
Отличный совет - хочешь отдохнуть в выходные, не делай deploy на прод в пятницу. Вы не представляете сколько раз я нарушал это правило и все ломал. Иногда обновляя BI Server, иногда ETL, иногда дашборд и многое другое. Пятница для fun work можно поучиться или просто в игры настольные с коллегами поиграть🎏 А вы как по пятницам - "move fast, break things"?😎
источник
Инжиниринг Данных
1991 год, реклама хранилищ данных в журнале/газете.
источник
2020 October 03
Инжиниринг Данных
У вас есть свое определение Аналитики? Если нет, то может использовать вот это определение.

Analytics is using data by asking questions to gain insights for decision making.  

🤑
источник
Инжиниринг Данных
Часто возникает вопрос - кто со стороны бизнеса будет драйвить внедрение и адаптацию аналитики. SAP выпустил книгу и перевел ее на русский язык - Финансовый Директор как Интегратор Бизнеса. Много интересных примеров.
источник
Инжиниринг Данных
источник
2020 October 04
Инжиниринг Данных
Читаю книжку, скоро расскажу вам, что там интересного пишут😊
источник
Инжиниринг Данных
источник
2020 October 05
Инжиниринг Данных
Лично не знаком с Валерием Бабушкиным, но как я понимаю он в топ российских DS и в конце концов переехал/переезжает в Fb UK. Классное интервью, было интересно послушать. Большой респект ребятам за материал и подачу. Ну и рад за Валерия и его новые и интересные проекты в Fb. Я вот, например провалил собес в Fb. https://youtu.be/w-0NdY8y-4Y
источник
Инжиниринг Данных
Работая из дома я заметил, что все больше сижу, даже не смотря на стол, который может пониматься и дает возможность работать стоя. После 10 лет работы за компьютером я осознал, что стул, это очень важно. Я часто слышал про коллег о стульях Herman Miller, но думал, что это все фигня. Стул за 1000+US$😖 Мне после 3х лет на ГКНПЦ им Хруничева, любой офисный стул казался удобным. То ли возраст, то ли Канада сделала меня нежным и мне стали не удобны все стулья, и я созрел на Aeron стул.

Вот, что про него пишут: "A few things about the Herman Miller Aeron chair; it will probably be the last office chair you ever purchase. They are well worth every dollar. They really are excellent. Very very comfortable and the mesh fits your body to perfection.".

Теперь я понял, почему коллеги очень тащятся от этих стульев и я созрел на такой же, надо инвестировать с себя правильно))

Ни у кого нет таких стульев?

Теперь вы знаете о чем нужно договариваться с работадателем при устройстве на работу - чтобы вам стул предоставили хороший, а иначе не получится добывать insights и строить хорошие distributed data systems и data pipelines.
источник
2020 October 06
Инжиниринг Данных
Самое время подтянуть облако на Azure!
источник
Инжиниринг Данных
Сегодня начинается Tableau Conference 2020. Там 103 доклада, где взять столько времени! 😱

Отобрал себе часть выступлений, но видимо буду смотреть большинство уже в записи. Мне, в этот раз, больше всего интересны темы про управление контентом и развитие культуры использования BI-системы. И конечно ещё интересно, что новенького в функционале.

Про новые фичи Табло:
Tableau Roadmap
Devs at Desks
Tableau and Einstein Analytics Coming Together

Про развитие культуры и управление контентом:
Best Practices for Content Governance
Metric Insights: Achieving a Single Source of Truth
Monitoring to the Max: Blueprint + Server = ♥️
Building a Data Culture Part
Your Data Culture - A 20:20 Vision

Про проектирование дашбордов и работу с Табло:
Adding Hidden Context to Your Dashboard
Speed Tipping Favorites
Revisiting the Signal and the Noise
источник
Инжиниринг Данных
Я бы ещё посмотрел все keynote сессии, там всегда крутые спикеры и интересные доклады!
источник
Инжиниринг Данных
Вчера я скинул ссылку про Azure. Потом я внимательно изучил, что они предлагают, и понял насколько это полезно и круто.

Во-первых видно, что Azure развивает российский рынок больше чем AWS и GCP.

Во-2х, после основ Azure - можно сдать бесплатный экзамен! Такого нам еще не предлагали. Не важно, что вы делаете и с чем работаете. Лет через 3-5 точно будете с облаками работать, начните сейчас, сдайте этот экзамен. На datalearn мы тоже будем про облака говорить в модуле 5.

В 3-х, на английском с русскими субтитрами, вы узнаете про облачное хранилище данных (datalearn модуль 6 похож будет про Redshift, Snowflake, Synapse). Узнаете про Azure Data Factory (cloud etl/elt), Databricks (spark), Synapse Analytics (DW).

В 4-х, вы получите кредиты, то есть ваше обучение будет бесплатно.

Опционально вы можете еще посмотреть другие сессии.
источник
Инжиниринг Данных
Когда я учил английский, я учил его через Ted Talks. Это такие презентации по 10-15 минут на разные темы, как правило очень качественные спикеры, где можно учиться у них, как выступать.

Сегодня я увидел absolutely amazing ted talk, что значит очень хороший и главное полезный для всех. У всех у нас есть большие цели, и мы слышали про

-"как съесть слона? - по частям"
-"как съесть самолет? - по частям" (и это реальная история)

В этом Ted Talk Dr. Stephen показывает на своем примере, как с помощью marginal adjustment (инкрементальных действий) можно добиться серьезные результатов. В общем очень inspiring ted talk все рекомендую.

Примеров marginal adjustment может быть много. Вот мои примеры:
-каждый день читать 10-20 страниц
-практиковать python (30мин, так как на работе мало его пока использую)
-15-20 минут спорт💪
-10-15 минут писать и читать по русски/английски со старшим сыном

К сожалению мой список маленький и надо над ним работать, начав с того, что не брать с собой телефон в комнату, где работаю и удалить все лишние приложения с рабочего компа🤦‍♂️ Отчасти поэтому удалил facebook, чтобы не тратить на него время.
источник
Инжиниринг Данных
Ждем похожих новостей от AWS/GCP https://ain.ua/2020/10/02/microsoft-investiruet-500-mln-v-ukraine/
источник
2020 October 07
Инжиниринг Данных
Если вам нужно сделать резюме или просто обновить, то не нужно изобретать велосипед, просто посмотрите в Google Doc шаблоны резюме, любой берете и готово.
источник
Инжиниринг Данных
А это прям для всех must have! SQL Style guide. Если у вас неразбериха с именами таблиц, полей и тп, то просто внедрите подход Симона, там все по делу!
источник
Инжиниринг Данных
Я еще не понял насколько удасться избежать Scala для инжиниринга данных. Если что, вот новая книга по Scala 3, пока доступны 6 глав.
источник
Инжиниринг Данных
Вакансия Архитектор/Аналитик данных.
Куда:
Управления корпоративными данными СИБУР, данные функции эффективности производства.

Чем заниматься:
Анализировать источники данных и ставить задачу инженеру данных на загрузку новых источников;
Проектировать ETL потоки и правила загрузки данных внутри для сборки витрин данных;
Формировать и защищать логическую модель данных, описывать требования к проверке данных по всем слоям хранилища;
Проводить функциональное тестирование результатов разработки;
Взаимодействовать с BI инструментами;
Общаться с пользователями, формировать и фиксировать требования пользователей к аналитической отчетности и алгоритмам;
Как участники большой команды Data Office принимать участие в построении платформы данных.

От вас обязательно:
Хорошо знать Python, SQL;
Иметь опыт бизнес-анализа или анализа данных в разных отраслях, примеры проектов или продуктов;
Высшее техническое образование (программирование, математика, физика) профильных вузов

Желательно:
Уметь строить хранилище данных;
Иметь опыт работы с Vertica или любой другой колоночной СУБД.;
Работали с Tableau или другим BI инструментом.

От нас:
Конкурентная заработная плата, премии, ДМС, страховка, работа в опытной команде, крупной компании, возможность удаленки в том числе после короны.

Резюме сюда: mashkovtsevaae@sibur.ru
Вопросы сюда: @Dddv_2705

Подробнее:
Архитектура нашей цифровой платформы (с чем предстоит работать):  https://m.habr.com/ru/company/sibur_official/blog/436632/
Немного о нас как IT-подразделении СИБУР: https://sibur.digital/
источник