Статья про Airflow и DBT

Хорошая вводная статья про типы СУБД

Есть кто используете Databricks? Я перевел ingest на Databricks Autoloader.https://databricks.com/blog/2020/02/24/introducing-databricks-ingest-easy-data-ingestion-into-delta-lake.html

Очень классная штука - почти стрим

Он на фоне (в азуре например) создаёт event grid, blob queue. И индексирует файлы которые загрузил в delta lake. У него есть свою БД для этого. Но я в связке с data factory делаю, 5 или 15 мин микро батч, чтобы downstream jobs запускать. Сейчас смотрю как лучше сделать upsert для таблиц, раньше просто партиции добавлял/заменял.

Обожаю этого чувака

This free GitHub course is sorted into multiple tutorials which were actually delivered using O'Reilly Katacoda during the live training (which is totally ah-mazing 🤩 )

To avoid any legal issues - all of the SQL live training material is available directly here on GitHub as a companion course which you can learn from at your leisure 👌
https://github.com/DataWithDanny/sql-masterclass

PS Новый день, новый SQL курс))

В Канаде тоже много курсов, вагон и маленькая тележка. Но оказывается, если курс больше 40 часов и стоит больше 4000 долларов, то необходимо получать разрашение у государства.

Недавно я проверял программу курса Applied Data Science and Big Data Diploma. 120 дней (5 дней в неделю) за 16000$ (можно в кредит). Это требование государства, чтобы человек из индустрии ознакомился с программой, помещением и написал заключение. Главная задача это чтобы learning outcome cоответствовал программе, материалам, лабам и тп.

Конечно, трудоустройство никто не обещает. И как я понимаю, любой желайющий может арендовать помещение и продавать курсы за свою стоимость и у вас будут все шансы получить лицензию "accredited college". Просто нужно немного первоначального взноса приготовить. Нанять консультанта, который знает как подавать документы, он за вас все заполнит и подсат заявку. Затем вам нужен человек из индустрии с резюме, в данном случае нашли меня. И вот уже в декабря они начнут косить бабло. И конечно вам нужно уметь продавать свои курсы и конкурировать с другими "accredited college".


Вот такой интерсный опыт.

Кстати, для вас я могу расшарить список литературы:
Deep Learning Publisher
The Elements of Statistical Learning: Data Mining, Inference, and Prediction
OpenIntro Statistics
Hadoop: The Definitive Guide Paperback
Learning Spark: Lightning-Fast Big Data Analysis
Mastering Apache Cassandra
The Elements of Statistical Learning: Data Mining, Inference, and Prediction
Open Intro Statistics: Third Edition
Learning SQL: Master SQL Fundamentals Publisher
Learn Python The Hard Way
Effective Data Visualization: The Right Chart for the Right Data
Python Data Science Handbook: Essential Tools for Working with Data

В теории, за 3 месяца курс должен научить всему, что я учу на datalearn + курс Анастасии по ML&DS + курс Анатолия по SQL. Так же надо будет прочитать и главное понять эти книги и еще много чего.  Прям утопия. Мое дело маленькое, посмотреть на программу, дать им рекомендации и взять 500$😎

Как я понял ни государству, ни школе качество прям не очень критично, главное, чтобы состав программы соответствовал заявленным целям, как миниму ключевые слова люди будут знать за 15к (кстати, можно купить в Канаде honda или mazda suv в очень хорошем качестве за эти деньги, ну или еще найти много применений, а курсы пройти бесплатно на курсере)

Я долго ждал когда epic grow seasons (сериал про продукты) анонсируют серию в своем телеграм канале, но что-то не дождался. Зато сегодня мне скинули скрин из рекламы в Инстаграм. Это было непросто, записать доклад на 45 мин за 15. Я пытался его учить как стихотворение, но не так то это просто. Рассказывал Канадцам в студии на русском. Это они сделали мне новую фотографию для Аватарки и еще записали афигенное интро с самокатом на набережной, я маленький кусочек добавил. А сам доклад у них на сайте.

Слышали вы про Code Review? Это когда в команде несколько человек пишут код в своем branch, например SQL, PySpark и потом делают commit.

Дальше, нужно создать Pull Request, и начинается Code Review, коллеги смотрят ваш код и оставляют комментарии по улучшению. И когда всего будет ок, после множества итераций, ваш branch сделает merge в MAIN (заметьте, MASTER уже не комильфо!).

Сегодня после очередного code review, я чувствую, что я прошел 5 стадий реагирования на изменения по Э. Кюблер-Росс.

Все 5 ключевых стадий эмоционального реагирования:

-Отрицание🙅‍♂️
-Гнев🤬
-Торг🙄
-Депрессия☹
-Принятие🤗

Статья про ETL, но на react и rails  и так тоже можно. "Extract, Transform and Load with React & Rails - DEV Community" https://dev.to/erinfoox/extract-transform-and-load-with-react-rails-ggp

The First Rule of Machine Learning: Start without Machine Learning
Если в кратце:


"When you have a problem, build two solutions - a deep Bayesian transformer running on multicloud Kubernetes and a SQL query built on a stack of egregiously oversimplifying assumptions. Put one on your resume, the other in production. Everyone goes home happy."

То есть всякие кубернетисы, эмлфло(не путать с ммм), глубокие обучения это конечно прекрасно, но давайте сначала сделаем простую модельку, чтобы принести value для stakeholders.

Если работаете с AWS или учитего его, то это хорошее место для доп знаний - AWS вебинары.  https://pages.awscloud.com/AWS-Online-Tech-Talks_September-2021.html

Хорошая картинка, должна быть многим знакома, у кого огромный backlog по задачам в BI делах. Именно для этого хорошо иметь self-service BI, чтобы такого не было, но его же не существует?))

Как у обстоят дела с эмпатией? Я услышал это слово впервые, когда началась эра смены bad ass CEO в штатах и на их место приходили тихий и спокойные ребята, фокус переходил на сотрудников и культуру. Bro culture уже начала идти на спад.

Когда у Microsoft появился новый СЕО - Сатя, то я познакомился со словом эмпатия - Microsoft CEO Satya Nadella: How Empathy Sparks Innovation.

Это напомнилу мне истороия из лицея 1501, кстати символ лицея - яйцо, его памятник прям перед входом. Наш учитель английского был большим шутником и проказником. Каждый раз когда он давал нам контрольную работу, он включал классическую музыку и аргументировал, что согласно исследованиям, коровы дают больше молоко под классическую музыку.

Возможно эмпатия - это как классическая музыка для коров, чтобы сотрудники больше давали "молока".

Согласно википедии эмпатия это осознанное сопереживание текущему эмоциональному состоянию другого человека без потери ощущения происхождения этого переживания.

Мне запомнилась одна фраза, когда я слушал аудио книгу про Стива Джобса, он сказал, что у молодого Билл Гейтса напрочь отсутствует эмпатия, так что для ценителей конспиралогии это явно знак;)

А сегодня попалась статья про Empathy Is The Most Important Leadership Skill According To Research. Так что, не одним лишь SQL и Python, надо заниматься, но обязательно иметь empathy и развивать эмоциональный интелект.

The Art of Collaborative Data Science at Scale

A unified approach that boosts data science agility and productivity

Красивая брошюрка от Databricks

В копилку кейсов ML😵‍💫

В Амазоне был большой плюс за счет email group по всем напрвлениям. Можно считать, что это как community. Можно писать в группу про Табло, DE, DS, и много других. За счет этого работая в одной команде, можно общаться со всеми. Эти группы еще часто использовались для не совсем легального переманивания сотрудников HRами. Но главное правило Амазона - никаких повышений при переходе, так что внутренний переход, это обычно почти как понижение. Я сделал таких аж 3, зато повышение опыта в геометрической прогрессии.

В Майкрософт все наоборот, групп нет. Есть Yammer, это продукт Microsoft Office, смесь форума и SharePoint. В общем, нет возможности общаться с другими. Я даже создал страницу по аналитике на ямере, но за год пришло 10 человек.

Но потом я нашел другое мероприятие - Azure Bootcamp,  это внутренние тренинги для новичков всего Azure и всех других желающих, вот для них я и сделаю презентацию, буду рассказывать в Azure про AWS и GCP😎

Getting started with Modern Data Stack: from Database to Lake House

Learn about key milestones in analytics and data engineering space starting from simple reporting solutions on top of SMP databases, moving towards MPP data warehouses, rise and fall of Hadoop ecosystem. Finally, will shift towards modern data stack with rise of cloud computing. Then I will explain the key concepts of Lake house architecture and review the data analytics market including AWS, Azure and GCP solutions, as well as third parties’ solutions like Databricks and Snowflake and popular data integrations tools. Finally, I will show couple reference architectures built on top of AWS and Azure for data warehousing, big data and ML use cases.

В Microsoft Teams есть крутая возможность отправлять сообщение через webhook, так же как и в slack, telegram и другие. Но у teams какие-то невероятные возможности, можно отправлять дашборды, делать кнопки, отправлять запросы и получать графики. У меня пока только получается выполнять SQL в databricks и отправлять сообщения в тексте. Но я нашел библиотеки графиков, только не понятно как ими пользоваться, может вам пригодтся. Это моя давняя мечта сделать BI в чат ботах, все insights по требования, все рассылки по показателям в своих каналах. https://dev.teams.microsoft.com/storybook/main/index.html?path=/story/ui-templates-dashboards--with-data-vizualization

https://docs.microsoft.com/en-us/microsoftteams/platform/concepts/design/design-teams-app-ui-templates