Size: a a a

Инжиниринг Данных

2021 January 16
Инжиниринг Данных
- Иногда появляются мысли, что может уже хватить этих крысиных гонок, больше гулять и с детьми играть. Но с другой стороны, мы живем один раз, жизнь должна быть насыщенной и бить ключом.🤫
- Может быть пойти по стопам Rock Your Data, и например возглавить практику Data Engineering в Ванкувере в Slalom, но бюджеты как обычно скромные на зарплатной фонд, но это уже другая лига. По словам 4х Sr Directors из Северной Америки, я могу справиться с поставленной задачей🙄

PS datalearn занимает особое место, это мой персональный challenge и я его доделаю. Сейчас я хочу добавить воронку для студентов, где активных студентов мы будет продвигать и устраивать на работу. Есть уже пар success stories в РФ, пока испытательный срок, и даже получилось одно Канада (он был поваром до ковида, со мной на джиу джитсу ходил) устроить в этом месяце разработчиком Power BI. Не без помощи студентов datalearn, которые его накачивали знаниями в замен на практику английского.

PPS Моя жена читает, ей самое большое спасибо, за все что происходит и за возможность заниматься любимым делом! Заграницу только со своим самоваром!😍
источник
2021 January 18
Инжиниринг Данных
Статья про создания delta lake с помощью Redshift Spectrum и AWS Glue. Я про такое даже и не думал, а ведь Glue использует Spark, следовательно можно реализовать delta lake.
источник
Инжиниринг Данных
Какой(ие) messengers вы используете?
Анонимный опрос
50%
telegram
26%
what’s up
2%
signal
8%
viber
9%
skype
5%
facebook messenger
1%
wechat
Проголосовало: 2106
источник
Инжиниринг Данных
Всем привет, вебинар по Гиту перенесли по техническим причинам. Сообщим как будет новая дата.
источник
2021 January 19
Инжиниринг Данных
Я никогда не рассказывал про секретный ингредиент успешной карьеры. Так вот расскажу, я проработал где-то 4 года на Moscow Fashion Week в рассадке. То есть носить стулья и заставлять их. Ничего интересного, но я быстро смекнул, где круто, это работать со спонсорами и получилось перейти работать напрямую на руководство недели моды. 2 раза в год по 7 дней было супер весело. На фотке это атрибут работы со спонсорами - коморка с ништяками. Как в стихах у Маяковского - “На работе ты хозяин, а не гость..”. Этим алкоголем мы платили в такси, угощали охрану гостиного двора или точнее платили им “дань”, за то, что могли пол ночи там шуметь. Это была целая эпоха. Будущую жену я водил не только в зоопарк, но и на первый ряд на закрытые показы, afterparty/preparty, да что там жену, на первом ряду сидели наши родители, бабушки, друзья и просто хорошие люди. Вот где я приобрел реально полезные навыки, которые пригодились в карьере. Одно радует, что не засосало в этот fashion, там денег нет🙄
источник
Инжиниринг Данных
Короткое видео про аналитическую платформу Databricks.
источник
Инжиниринг Данных
А в этой статье обсуждается стоимость аналитического решения на Microsoft Azure. Уже понятно, что на облаках можно все сделать просто и быстро (относительно конечно), но при этом еще можно потратить очень много денег, и даже не заметить этого
источник
Инжиниринг Данных
Играете ли вы в компьютерные игры? (Я же теперь про gaming)
Анонимный опрос
32%
Я вообще не играю🤬
2%
Играю на PS5
1%
Играю на Xbox Series X/S
12%
Играю на PS4
1%
Играю на Xbox One
30%
Играю на PC
16%
Играю на Телефоне
4%
Играю на Nintendo Switch
2%
Играю на более старых консолях
Проголосовало: 1187
источник
Инжиниринг Данных
Хотел поделится успехами одного из студентов. Я про него писал, он местный канадец, работал поваром. Во время пандемии его сократили. Мы как-то разговорились перед тренировкой джиу джитсу летом, я как обычно предложил ему стать BI разработчиком (наверно я предлагал всем своим знакомым🤔, у меня и других тем для разговора нет🤪). К моему удивлению он согласился.

Я его нагрузил материалами, книгами и курсами. Так как datalearn на русском, то пару студентов вызвались добровольцами переводить ему контент и помогать, ну и практиковать английский заодно.

Если честно, я даже удивился результатам:
1. Сделал хороший Linkedin профайл
2. Он сдал сертификат по AWS Cloud Practitioner.  
3. Он прошел кучу курсов на Linux Academy, Cloud Academy и несколько на Coursera
4. Он стал учавствовать в MakeOverMonday по Tableau и уже нарисовал хорошие дашборды.
5. Он завел блог на medium и пишет чего-то там, выглядит солидно, пусть даже очень базовые вещи.
6. Он сделал резюме в Tableau

Сейчас он нашел контракт на PowerBI в местной консалтинг компании. “Человек сам кузнец своего счастья” - это прям про него. Я ему указал направление и за месяцев 8 он сделал такой крутой скачок. Он даже слово “аналитика” не знал, не то, чтобы SQL.

Поэтому, все в ваших руках!🤗
источник
2021 January 20
Инжиниринг Данных
😊😜🤫
источник
Инжиниринг Данных
Нашел интересное:
Artificial Intelligence = linear regression & decision trees

Smart Algorithms = random forest

Next-Gen machine learning = boosted trees

AutoML = import autosklearn

Intelligent Automation = Windows scheduler, crontab

MLOps = docker

Analytics at scale = no more excel

Customer-centric data lake = we have customer_id in our database tables

Serverless Architecture = I have no idea what a server is

Cloud APIs = my dev-ops guy made me click some link

Advanced Analytics = SQL

DataViz Guru = library(ggplot2)

Data Consultant = often draws convenient conclusions from data

Advanced ML/DL = Python

Image Recognition = MNIST

NLP Experts = transfer learning on GTP-3/Bert

Reproducible experiments = jupyter notebooks

Maintain source code = git add . && git commit -m "yolo" && git push origin master

Distributed Analytics = no more MySQL on a laptop

Experimentation Framework = z-tests

Advanced Statistics = random control groups

Customer loyalty focus = we spam them with emails

Centre of Excellence = fancy team name to justify payrises

HR analytics = people leave, we didn't pay them enough


Добавляйте свои примеры в комменты
источник
Инжиниринг Данных
Замечательные новости, скоро расшарю интересную вакансию в Москве. Оплата поста как обычно идет в организацию https://vsevsevmeste.ru/ (3000 рублей). Это хороший тренд использовать деньги за рекламу в постах на что-то хорошее. Все просто, если я не трачу свое время, то почему бы не направить эти деньги на что-то хорошее. Возможно и другие каналы могу работать по такой же модели🤗
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Пообщался со Slalom недавно, раз так 7. В итоге они предложили интересную позицию Director - Data Engineering. Они открывают офис в Ванкувере и хотят развивать компетенцию Data Engineering,  вырастить практику до 30 человек. Это первый раз когда история про Rock Your Data сработала на все 100%.

С одной стороны это большой риск, развивать консалтинг во время пандемии. Но где большой риск, там большие возможности. Морально я готов потерять работу и провести пол года на Бали или около того. Несмотря на то, что. Slalom это крутая компания, зарплата директора ненамного больше старшего инженера в FAANG и нет стока. Так же это суета, меньше времени с семьей. Но при хорошем раскладе это может быть отличное развитие карьеры. Из главных минусов, это то, что я начал работать в Microsoft совсем недавно, и это будет очень неудобно и некрасиво уходить. В общем это первый раз когда я абсолютно не уверен, что делать дальше.
источник
Инжиниринг Данных
Ребята, а вот супер крутые новости про #datalearn. Так уж получилось, что мы решили занять нишу для совсем начинающих в дата профессиях. И я с удовольствием представляю вам новый курс по data science. Вы сможете узнать, что такое data science, и если вам понравиться, то уже можно самостоятельно продолжить углубляться. Курс подойдет не только будущим data scientist, но и BI разработчикам, инженерам данных, продуктовым аналитикам и менеджерам, чтобы получить представление как это работает и как лучше взаимодействовать с отделом Data Science.

Представляем Вам курс по Getting Started with Machine Learning и Data Science (кодовое название ML - 101).
Преподаватель курса:
Анастасия Риццо
Задача курса:
- помочь вам войти в профессию “с нуля”;
- создать фундамент знаний;
- привить вам любовь к Data Science;
- дать вам возможность примерить на себя профессию Data Scientist.

Курс состоит из 3 модулей. Первый модуль это теория, Второй и Третий модуль это теория вместе с практикой.
За прохождение каждого модуля вы получите значок. Наберете 3 значка, получите финальный сертификат о прохождении курса!


Требуется серьезная мотивация и целеустремленность, чтобы закончить курс, и если вы справитесь со всеми модулями курса ML-101, то вы легко справитесь с базовым уровнем задач на позициях Data Science Intern, Junior Data Scientist, Applied Scientist.


Линк на интро: https://youtu.be/g2azOLGzeNo
Регистрация на странице:
https://youtu.be/g2azOLGzeNo
Регистрация на странице: https://datalearn.ru/kurs-po-ml-dshttps://datalearn.ru/kurs-po-ml-ds
источник
2021 January 21
Инжиниринг Данных
Никто не играл в Microsoft Flight Simulator? Я все жду, код он появится на консоле, очень крутая игра за счет 3х мерного изображения картинки пространства. Кстати вот демо небольшое, еще и на русском😎
источник
Инжиниринг Данных
А вот и вакансия! Всегда круто когда команда создается с 0, есть возможность строить инновационные дата продукты.

Вакансия: Senior DWH Developer в Циане
(Москва/Питер/Удаленка)

Циан – крупнейший в России сервис для поиска недвижимости. 18 лет мы помогаем людям найти, сдать, продать жилье по всей России. Циан не просто сайт, это высокотехнологичная компания, которая входит в топ-10 лучших сайтов по недвижимости в мире.

Сейчас мы выводим нашу аналитику на новый уровень с точки зрения эффективности и ценности для Циан. Формируем с 0 команду “Аналитическая Платформа”, и ищем 2ух DWH-разработчиков грейда Senior и Middle.

Задачи, которые могут стать твоими:

🔹Разработка модели данных;
🔹Разработка и развитие ETL фреймворка;
🔹Разработка витрин данных;
🔹Разработка системы контроля качества данных.

Подробнее о позиции и условиях: https://hh.ru/vacancy/40289639
Контакты для вопросов и резюме (Настя): a.uzzhina@cian.ru, @NastyaUzzhina - telegram.
https://hh.ru/vacancy/40289639
Контакты для вопросов и резюме (Настя): a.uzzhina@cian.ru, @NastyaUzzhina - telegram.
источник
Инжиниринг Данных
Apache Superset выпустил версия 1.0, то есть полноценный BI инструмент (продукт). https://preset.io/blog/2021-01-18-superset-1-0
Кто нибудь использует его?
источник
2021 January 22
Инжиниринг Данных
Давненько я нигде не выступал, но это важный атрибут современной карьеры. Вообще не важно о чем говорить и где, главное практиковаться🤪 в этот раз это будет митап в Торонто по big data и data science, где 14к пользователей. Меня конечно смущает, что организатор это псевдо школа по аналитике wecloud, которые впаривают курсы по Канаде.
источник
Инжиниринг Данных
Хорошая презентация про классику - Dimensional Modelling.  (от 15 декабря 2020)

Dimensional modelling described in the Kimball Toolbook was in its 3rd edition 15 years ago yet is still the latest in data modelling advice. So much is different in cloud warehouses that many of those best practices are now bad practices. In this video Dave Fowler, the founder of Chartio and author of Cloud Data Management goes over what no longer applies, and what does.

А про Chartio было в Fancy BI tools на 3м модуле;)
источник