Size: a a a

Инжиниринг Данных

2021 January 11
Инжиниринг Данных
Новый вебинар от Романа:

Друзья, приветствую всех!
Вот и польза подоспела сразу после праздников.
В среду (13 января) в 20:00 по мск вебинар!
В среду (13 января) в 20:00 по мск вебинар!

Тема: Data команда. Цели, структура и управление
Спикер: Владимир Лагутинский, профессионал с 10-ти летним опытом в данной теме
🔔 Что нужно сделать:
📌 Перейти по ссылке и поставить колокольчик, чтобы в понедельник не пропустить
📌 Отложить все дела на понедельник
📌 В среду в 20:00 быть на вебинаре

Всех обнял, до встречи в эфире
🤗
И ПОДПИШИТЕСЬ НА НАШ ЮТУБ
https://youtu.be/NLOq7GC7zA8
https://youtu.be/NLOq7GC7zA8
источник
Инжиниринг Данных
Родители у меня орнитологи и работают в Московском Зоопарке, в принципе я там и вырос, и водил свою будущую жену на свидание покормить пеликанов. Они несколько раз посещали Канаду и отец кандидат наук по птицам и хорошо в них разбирается и у него много научных статей по этой теме. Я ему помог освоить medium, где он написал мини рассказ про животный мир Британской Колумбии, если кому интересно, можете прочитать.
источник
2021 January 12
Инжиниринг Данных
Илон задонейтил 5млн $ в бесплатную онлайн школу (кстати одну из лучших) - Khan Academy.
источник
Инжиниринг Данных
Искал информацию про Alteryx на хабре и нашел хороший перевод статьи “Каково это было — изучать Data Science в 2019 году” (перевод статьи Томаса Нильда How It Feels to Learn Data Science in 2019). Статья - ржака))
источник
Инжиниринг Данных
Это пять!
источник
2021 January 13
Инжиниринг Данных
Интересное решение - google big query позволяет читать данные в другом облаке. Это уже тренд на multicloud и пример как вендоры адаптируются, ну и со снежинкой конкуренция. Раньше bigquery умел читать только данные из своего google storage.
источник
Инжиниринг Данных
Мы начали наш вебинар про руководство Data проектов https://youtu.be/NLOq7GC7zA8
источник
Инжиниринг Данных
Из очень старого (2014 -2015) - прародитель курса datalearn https://smartia.me/profession/bintelligent/
источник
2021 January 14
Инжиниринг Данных
Майкл Сейлор - создатель MicroStrategy. Сейчас они ещё на плаву за счёт больших клиентов, я даже про них написал книгу в 2015, когда работал с продуктом. И в Москве было большое разочарование, когда прошел собеседование на sales engineer по MicroStrategy и в итоге они решили закрыть офис в Москве. Интересный факт, что в прошлом году или в 2019, компания инвестировала 120млн баксов своих денег, + сам Майкл вложил кучу своих денег в Bitcoin. Неожиданное решение от совета директоров, но теперь это дело стоит 500млн. Интересно как дальше пойдет. Я вот без единого биткоина, но зато есть серебряные и золотые монеты, акции snow, Tesla, amazon и Microsoft. И на том хорошо, что хоть немного денег удалось не проесть🤗 а у вас как?
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Для девочек 12-19 лет отличная возможность изучить технологии и профессии в tech.

DigiGirlz at Microsoft
Microsoft is proud to offer free technology programs specifically for youth. Our Microsoft DigiGirlz programs give middle and high school girls* opportunities to learn about careers in technology, connect with Microsoft employees, and participate in hands-on computer and technology workshops.
источник
Инжиниринг Данных
Новое видео https://youtu.be/KfuY2J9h5B0
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Analytics Engineer vs Data Engineer vs Data Analyst. dbt в своем посте рассказывает про особенности каждой роли. Я на своем опыте понял, что гнаться за классными названиями не всегда удобно. Например, в Linkedin я сделал Analytics Engineering, но есть проблема - рекрутеры, руководители компаний и другие люди, кому я мог бы “продать” свой профайл, не очень понимают. Сейчас вроде как для большинства, что есть BI, Data Engineering и Data Science. Поэтому, несмотря на то, что Analytics Engineering более подходит к тому, что я делаю - end to end analytics solution, приходится играть по правилам рынка.

Кстати, чем больше узнаю про dbt, тем больше вижу преимущество SQL ETL vs того же Apache Airflow с питоном.
источник
Инжиниринг Данных
Про #datalearn

Мы используем GitHub как учебник, для конечного пользователя это просто страничка с текстом и гиперссылками на YouTube видео, дополнительные материалы или файлы для домашнего задания.

На текущий момент 2 основных страницы в нашем учебнике:
1. readme.md - Про курс “Введение в Аналитику и Инжиниринг данных”, информация про каналы Slack и пару ссылок на YouTube про курс.
2. DE-101.md - Следующая страница непосредственно про сам курс. Тут введение к курсу, оглавление, требования к курсу (больше как рекомендации), информация про значки и сертификат и ссылки на главы (модули) курса.
источник
2021 January 15
Инжиниринг Данных
источник
Инжиниринг Данных
Trino - еще одна технология open source SQL engine. Я лично никогда не использовал. Из ближайшего я пользовался Amazon Athena (presto).Trino как раз и есть presto, они его переименовали и добавили новые фичи.

Update от Евгения из комментария: Есть два разных Presto - один это PrestoDB, это то что сделали в фб и эта версия поддерживается их сообществом. Есть prestoSql(теперь trino) - это часть разрабов ушедшая с фб организовали свою компанию и форкнулись от prestoDB и теперь пилят свою версию. А ещё есть https://www.starburstdata.com/ - они делают интерпрайз версию presto))
источник
Инжиниринг Данных
Новый, полезный вебинар от Романа. Нравится вам или нет, но git это важный инструмент современного инженера/аналитика. Поэтому мы хотим вам помочь освоить его.

Друзья уже в понедельник долгообещанный вебинар по гиту

Приготовьте свои датапушки
💣 и заварите чай ☕️

Дата: понедельник 18 января в 20:00 по мск
Спикер: Денис Волк
Senior Data Scientist в зарубежном стартапе, через фриланс-биржу Toptal. 18 лет опыта в науке и наукоёмких проектах, из них 8 непосредственно связаны с разработкой DS/ML решений. PhD in math.
Тема вебинара: Расскажет о Гите - что, как и зачем
Краткое содержание:


Зачем?
Как?
Основная часть: "как устроена работа с git": демонстрация экрана
Создания р
епозитория
Git add
Git reset
Git commit
Ветки
Git merge
Два основных формата работы с ветками
Методология git flow
Github/gitlab


И это вкратце - там дофига, возможно разобьем на 2 вебинара
Гитхаб - это один из самых необходимых инструментов для работы, так что приходите и учитесь
🔔 Что нужно сделать:
📌 Перейти по ссылке и поставить колокольчик, чтобы в понедельник не пропустить
📌 Отложить все дела на понедельник
📌 В понедельник в 20:00 быть на вебинаре

Всех обнял, до встречи в эфире :hugging_face:
И ПОДПИШИТЕСЬ НА НАШ ЮТУБ
ССЫЛКА:
https://youtu.be/-CPiOe9rnh0https://youtu.be/-CPiOe9rnh0
источник
Инжиниринг Данных
Последний раз я работал с Microstrategy в 2015 году и даже написал книгу про продукт. Они были реально крутыми среди Enterprise BI. И как я говорил, я мечтал работать у них. Даже была возможность работать на них в Торонто, но я выбрал Amazon.

Их лидер, реально шарит в трендах, поэтому обязательно посмотрите хотя бы keynotes их главной конференции.

https://www.microstrategy.com/en/resources/events/world-2021
источник
2021 January 16
Инжиниринг Данных
Я хотел бы поделиться своими успехами и неудачами в 2020. Все они связаны в основном с работой. Я заметил, что лучше напридумывать себе планов много, и потом много завалить, чем напридумывать мало, и тоже много завалить.😂

Сначала список Failed:
❌Я провалил свою карьеру в Амазон, я так и не получил повышение L6. Я знаю почему, но все равно, 5 лет фигачить и не получить того, что хочется, это конечно еще та подстава. Я так и был просто data engineer. Но зато засчет communities, которые я развивал, меня многие знают в Амазоне, и будет легко прийти обратно, может быть на L7 сразу🤫
❌Rock Your Data консалтинг, после 3х лет, тоже дал течь. Но опыт крутой. Я придумал себе реальность, в которой я был Practice Director и моей миссией было нести инновации по облачной аналитике в Северной Америке. В остатке хорошая репутация на рынке, опыт и знания.
❌Впервые я почувствовал выгорание. Это когда ты лежишь в гору, а вершина все дальше и дальше и пропадает просто цель куда-то лезть.
❌Я думал сделать курс на datalearn это быстро. Оказалось нет. Я вообще не понимаю как всякие школы клепают курсы так быстро.
❌Я планировал сдать экзамены по AWS BigData, AWS Cloud Practitioner и Snowflake Core. 2 раза AWS Cloud Practitioner отваливался по среди экзамены🤯 и я в итоге забил. Прошел курс по AWS BigData и уже не стал освежать снежинку. И так сойдет.🤠 Сертификация полезна джунам, доказать, что они чего-то стоят.
❌Я планировал пройти все курсы по DataBricks, в итоге закончил только 10 процентов. И еще даже не вернулся к ним. Хочется, но не можется🥴
❌Я обложился книгами по Spark, и прочитал только 1ю главу (в 2х книгах)
❌Я нашел супер крутую книгу по Game Analytics, 800 страниц, прочитал где-то 80, и отложил🥴
❌ Так же я сделал с книгой по Building Data Teams, прочитал 4 главы и встало. А есть и другие интересные книги, которые ждут, чтобы я их прочитал.
❌Я должен был полететь в Сан Диего на EDW20 конференцию, даже купил билеты, но из-за пандемии “все пропало, шеф”
❌Я провалил собесы в Tesla, Lyft и Facebook (там было больше всего раундов) на позицию manager data engineer
❌Летом я должен был переехать в Seattle, но решил вообще уйти из Амазона и пока не соваться в США.

Но есть и хорошее:
✅За свои “страдания” в Амазоне, я получил Sr Data Engineer в Microsoft, и мой total comp улучшился на 50%, конечно не то, что я хотел, но в Канаде очень сложно ЗП прям высокую получать. Прибавьте еще высокие налоги. В принципе я рассматриваю свою ситуацию как норм, но на мои доводы не помогли подвинуть планку во время переговоров. Так же мне дали Xbox, Xbox Game Pass и игровой комп, чтобы играл😋
✅Мой Канал уже достиг 5600 подписчиков, это вроде здорово. Моя привычка искать новости по аналитики и кому-нибудь их показывать приносит пользу.
✅Я построил настоящий турник, даже 2, детский и взрослый у себя во дворе, теперь вот подтягиваюсь.👊
✅Я получил синий пояс по джиу джитсу после 3х лет, что приятно. 💪
✅С пацанами стали лазить по местным горам, в среднем 1500 метров высота, зато там снега по пояс У нас это называется hiking. Уже 3 раза сходили, было круто.🏔
✅Сдал экзамен на огнестрельное оружие и охоту, сами понимает зомби апокалипсис за окном🧟‍♂️
✅Вместе с подписчиками написали новую книгу - Azure Data Factory

В общем по карьере все провалил, но основную задачу решил. Как видите, теряю хватку и уже сложней доделывать дела до конца, точнее чаще появляется вопрос “Зачем”.  По карьере стало сложно, раньше была простая цель, переехать куда-нибудь и работать в компании типа FAANG. И вот я все это сделал, а дальше не подумал, что делать. Еще из дома работать🤪 с 3мя маленькими детьми.  

В итоге я определил для себя несколько сценариев:
- Проработать года 2 в Microsoft, и потом если не будет движение, посмотреть на Австралию или Европу или продать себя дорого в Seattle, если вообще такая возможность существует. Прочитать все книги и пройти все необходимые курсы. 2 года сидеть на попе ровно.😇
источник