Size: a a a

Инжиниринг Данных

2021 June 01
Инжиниринг Данных
Никто не пробовал Amazon Warehouse Services?)) Читаю Game Analytics Maximizing the Value of Player Data. Купил в ноябре и вот теперь только начал читать, так как стал пользоваться метро и появилось доп время на чтение.
источник
Инжиниринг Данных
Сегодня посмотрел Key Note Data+AI, очень качественный эвент. Сначала минут тридцать играет диджей, потом сам ПАПА хранилищ данных, Бил Инмон, рассказывает о Lakehouse и о своей новой книге. Раза 4 он говорит, что писать 61ю книгу ему лучше, чем играть в гольф, он видите ли, так отдыхает. Он показывает несколько картинок из своей новой книги (или все таки документации databricks), короче он продался…Но нам не жалко, databricks хороший продукт и delta lake ничего!

Затем Atlassian рассказывает о своей дата эволюции, которую вы видите на картинке: Postgres->Redshift->Data Lake on S3 -> Lakehouse. Все логично, я бы так же сделал🤙

А потом рассказывают про новые фичи, главная из них это Delta Lake V1 и Data Catalog внутри Databricks (наконец-то!), ну еще парочка.

В конце, чувак из Microsoft, говорит нам про Synapse, я не понял зачем он там со своим Synapse, рановато пока, надо еще годика 2 его до ума доводить, а потом понял, они же спонсоры конференции))
источник
Инжиниринг Данных
Немного из истории Канады. Мы знаем, что Северная Америка это была земля индейцев (aboriginal people или first nations), потом приплыли колонизаторы, европейцы и дальше вы знаете. Сейчас вскрылось ужасное преступление, о котором даже написали в медузе - В Канаде нашли останки 215 воспитанников интерната для детей из коренных народов.

Канаде всего 150+ лет, но в ее истории очень много темных мест. Одно из них это Residential School (школы интернаты). Идея была простоя, “диких” детей индейцев отбирали у родителей и помещали в интернат, где из них хотели сделать “нормальных”людей. Многие погибали, кто выживал - получал травму на всю жизнь. По сути это был геноцид, который начался с временем завоевания Северной Америки. Школы интернаты закрыли в 1996 году. Страшно представить сколько горя перенесли эти люди.

Я не эксперт в этом вопросе, но решил добавить немного информации, чтобы у вас был контекст. Сейчас у first nations много benefits от государства, они не платят налоги, рыбачат и охотятся когда хотят и где хотят и тп., но при этом государство продолжает игнорировать их требования/просьбы/традиции и законы (мягко говоря). Зачем им benefits, если реки и озера загрязнены и отравлены, рыбы в океане нет, и лес на их земли вырубили и продали в Китай.  

Сейчас происходит еще одна история, но уже локальная - вырубка Old Grown леса (это деревья, которым по 1000-2000 лет на острове Ванкувер). Их всего осталось в Канаде единицы. В этом раз много людей и наших знакомых “вписались” за деревья. Вопрос пока не решен, но все больше и больше людей пытается спасти эти деревья. Я даже написал в Microsoft Indigenous Community (группа, которая представляет интересы First Nations в Microsoft), может они как-нибудь смогут спасти деревья. Лично я поддерживаю first nations, они действительно заботятся о природе и окружающей среде.
источник
2021 June 02
Инжиниринг Данных
источник
2021 June 03
Инжиниринг Данных
Можно будет теперь коллег просвещать. Для моих детей у нас обязательный ежегодный просмотр Брат, Брат 2, Сестры в воспитательных целях🤠 Есть ещё рекомендации?
источник
Инжиниринг Данных
Бесплатный курс от Microsoft -Architecting Distributed Cloud Application. https://m.youtube.com/watch?v=xJMbkZvuVO0&list=PL9XzOCngAkqs0Q8ZRdafnSYExKQurZrBY&ab_channel=JeffreyRichter
источник
Инжиниринг Данных
Новая книжка про клиентское поведение: The Secret Lives of Customers: A Detective Story About Solving the Mystery of Customer Behavior
источник
Инжиниринг Данных
У Xbox есть центральная команда аналитики и она ищет себе Data Engineer. Роль для US/Canada (вдруг кто в этих краях и ищет). Сейчас Xbox это классно, они делают игры по подписке с Game Pass, запустили xCloud и выпустили новые крутые консоли, я думаю они меняют игровую индустрию. Вот вакансия. Еще есть интересные вакансии у Minecraft, тоже US/Canada. Но есть еще студия Rare и Turn10, они в UK.
источник
Инжиниринг Данных
Про организацию дата команд у нас был замечательный вебинар - ДАТА КОМАНДА: ЦЕЛИ, СТРУКТУРА И УПРАВЛЕНИЕ / ВЛАДИМИР ЛАГУТИНСКИЙ

А вот свежая статья Organizing Data Teams — Where to Make The Cut
источник
Инжиниринг Данных
Анастасия опубликовала видео 2 модуля 3 по своему курсу DS&ML101 https://youtu.be/ogJni5wpmac
YouTube
ML-101 | Module 03 | Lesson 01 | Binary Classification: Theory & Practice | Anastasia Rizzo
Курс Getting Started with Machine Learning and Data Science (ML-101).

В этом уроке мы сделаем 2 практических кейса бинарной классификации.


⚠️ Для эффективного прохождения курса необходимо зарегистрироваться в Slack (наш чат) и читать гид на Github, в котором рассказывается про последовательность уроков, практические работы и домашние задания. ⚠️


🔥 ССЫЛКИ:

🔗 Anastasia Rizzo (Linkedin):
https://www.linkedin.com/in/anastasia-rizzo-7b8a0376/

🔗 Регистрация на курс ML-101:
https://datalearn.ru/kurs-po-ml-ds

🔗 Всю информацию о курсе и ответы на все ваши вопросы вы сможете узнать по этой ссылке:
https://github.com/Data-Learn/data-science/blob/main/ML-101%20Guide.md

🔔 Подписывайтесь на канал "Data Learn" чтобы не пропустить остальные части и ставьте лайки!

📕 Записывайтесь и проходите курс ML-101.

⚠️ КУРС БЕСПЛАТНЫЙ!

🔗 Записаться вы можете на нашем портале https://datalearn.ru/

👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность…
источник
Инжиниринг Данных
В нашем слаке опубликовали интересную статья - оригинал и перевод от пьяного разработчика. Но я например трезвым такие же советы давал на хабре.

Вот примеры:
- не нравится работу, ищите новую
- хотите больше денег, ищите новую
- не парьтесь с языками, выучите только SQL, а там дальше видно будет
И так далее.
источник
Инжиниринг Данных
Вчера я сдал экзамен (в своем стиле без подготовки). Нужно было минимум 70%, и я набрал 70🙈, вообще оказалась что для сотрудников Microsoft экзамены бесплатны, сдавай-не хочу))) при желании все материалы для подготовки тоже бесплатны на сайте Microsoft (или большинство)
источник
Инжиниринг Данных
А это может быть вам интересно, на Upwork можно свои черты заказать и искать работу по прилансу. Уверен там есть по дате проекты, но вот как со спросом/предложением не знаю. Обычно эксперты из Индии за 5$ в час обладают всеми сертификатами и знаниями))
источник
2021 June 04
Инжиниринг Данных
источник
Инжиниринг Данных
Недавно читал про Jeff Wilke, он работал в Амазон с осени 1999 на позиции VP и General Manager of Operations. Я его сам никогда не видел в живую, но мужик был мировой. Когда я перешел в последнюю команду Customer Behaviour Analytics, он возглавлял это направление и смотрел много его видео про квартальные встречи, когда готовился к эвенту в mail.ru - Как технологии помогают Amazon быть самой клиентоориентированной компанией на Земле?


Он тоже ушел на пенсию в 2021 после Безоса. Про него есть одна история про клетчатую рубашку (flannel shirt). Тут его прощальное письмо и история про рубашку. По началу он брал людей из корпоративного офиса и помогал на складе и всегда носил клетчатую рубашку. Уже когда Амазон вырос, он все равно продолжал носить клетчатую рубашку, чтобы напоминать корпоративному офису про тяжелую работу на складах, в общем эти рубашки стали символом, и теперь можно их купить в Амазон под брендом Amazon Essentials.
источник
Инжиниринг Данных
Переслано от Томак Ксения...
У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал:
https://digest.deordie.org/04_A_spark_of_the_summer_sun/
_____
Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник
Инжиниринг Данных
5 видов аналитики:

🐒Descriptive analytics - что случилось? Например сумма продаж за прошлую неделю на 50% больше текущей.
🐒Diagnostic analytics - почему? Почему продажи упали? Например, из-за новогодних праздников или ковида.
🐒Predictive analytics - что будет в будущем? Например, бюджет или модель продаж (можно использовать logistic regression)
🐒Prescriptive analytics - как улучшить бизнес показатели? Это те самые data insights и бизнес рекомендации, которые мы должны добывать в данных. Что сделать, чтобы продажи пошли в гору?
🙈Cognitive analytics (не буду переводить, чтобы не запутать вас) - helps to draw inferences from existing data and patterns.
источник
Инжиниринг Данных
Prescriptive и Cognitive аналитика это самое сложное. Так как существует много разных bias, мы часто можем выводы подгонять под желаемые результаты. Нашел отличный вебинар, который глубоко обсуждает эту тему - Understanding Decision Driven Analytics.
источник