Size: a a a
2020 December 08
2020 December 09
Аналитическое хранилище данных Amazon Redshift получило возможность использовать ML с помощью SQL. В целом индустрия идёт по пути упрощения методов анализа данных.
Я немного изучаю Databricks. У них курсы бесплатные онлайн. Моя идея, эмигрировать все на databricks для gears. Сейчас у нас HDInsight+Hive, Azure Data Factory, SQL Server, SSIS. Я хочу все заменить на Databricks. Мне это даст возможность использовать данные стриминга (game telemetry) и легче интегрировать ML, иначе это будет зоопарк технологий. Конечно можно было все тоже самое сделать на Azure Synapse (облачное хранилище данных, можно сделать lakehouse), но я специально хочу Spark + Python. Чтобы я могу точно ответить чем DataBricks c Delta Lake отличается от Redshift и Snowflake.
Я уже писал, что у DataBricks все курсы онлайн бесплатно, вот интересный курс для всех - Just Enough Python for Apache Spark
PS если вы учитесь на инженера данных или вы инженер данных, то важно знать назначение всех технологий выше и разницу между, например, озером данных или хранилищем данных, а есть еще lake house. Все обязательно пройдем на datalearn.
Я уже писал, что у DataBricks все курсы онлайн бесплатно, вот интересный курс для всех - Just Enough Python for Apache Spark
PS если вы учитесь на инженера данных или вы инженер данных, то важно знать назначение всех технологий выше и разницу между, например, озером данных или хранилищем данных, а есть еще lake house. Все обязательно пройдем на datalearn.
Роман подготовил новый вебинар, копирую из slack! Всех прокачаем!🤩
Всем привет!
У нас подоспел новый вебинар, на котором будет практика и вы сможете повторить все действия и даже выложить в паблик, что будет плюсом для портфолио
Тема - SQL в анализе данных 101. Решаем прикладную задачу сегментации.
Когда: 10 декабря (четверг) в 19:00 по мск
Спикер: Eugene Kudashev . Вы наверное уже его знаете из чатов 😊
Описание вебинара:
Разберем полный цикл задачи в анализе данных на примере RFM сегментации. Построим простое решение с помощью SPARK SQL на базе databricks community edition и построим дашборд с результатами в Tableau public.
Ссылка: https://youtu.be/72mRlugPKNIhttps://youtu.be/72mRlugPKNI
Рекомендации:
установить табло десктоп - на нашем где инструкция как установить его на год бесплатно, заварить чай и быть в онлайне на нашем ютубе в назначенное время☺️
Подписывайтесь на наш ютуб канал datalearn и не забывайте нажимать на колокольчик, чтобы не пропустить выход новых видео, а также огромная просьба делиться видео с друзьями и коллегами.
Хорошим материалом делиться надо ☺️
Всех обнял, до встречи в эфире🤗
Всем привет!
У нас подоспел новый вебинар, на котором будет практика и вы сможете повторить все действия и даже выложить в паблик, что будет плюсом для портфолио
Тема - SQL в анализе данных 101. Решаем прикладную задачу сегментации.
Когда: 10 декабря (четверг) в 19:00 по мск
Спикер: Eugene Kudashev . Вы наверное уже его знаете из чатов 😊
Описание вебинара:
Разберем полный цикл задачи в анализе данных на примере RFM сегментации. Построим простое решение с помощью SPARK SQL на базе databricks community edition и построим дашборд с результатами в Tableau public.
Ссылка: https://youtu.be/72mRlugPKNIhttps://youtu.be/72mRlugPKNI
Рекомендации:
установить табло десктоп - на нашем где инструкция как установить его на год бесплатно, заварить чай и быть в онлайне на нашем ютубе в назначенное время☺️
Подписывайтесь на наш ютуб канал datalearn и не забывайте нажимать на колокольчик, чтобы не пропустить выход новых видео, а также огромная просьба делиться видео с друзьями и коллегами.
Хорошим материалом делиться надо ☺️
Всех обнял, до встречи в эфире🤗
А я буду рассказывать про свою профессию и другие профессии, которые работают с данными на образовательном онлайн-фестивале и онлайн-интенсиве по технологическим сферам - ТехноИнновации
Вы слышали про Slowly Changing Dimensions (SCDs)? Вот про них небольшая статья с примерами.
Ещё одно подтверждение насколько snowflake крут, и как он меняет индустрию и заставляет других развиваться. Вот и Redshift подготовил data sharing.
2020 December 10
В штате Флорида, data scientist самостоятельно собирал данные по ковиду, и его данные отличались от официальных, к ним домой ворвались агенты с оружием, изъяли всю технику. Так что, сами понимаете - статистика наука точная)
Еще один кейс ML. Особенно актуальный после сериала Queen’s Gambit от Neyflix. Я его посмотрел, мне очень понравился. Тоже решил записать детей на шахматы онлайн😎 Если кто по скайп нанимает репетиторов для детей 6-8 лет, поделитесь в комментариях.
Google Search now featuring in-depth math assistance for solving equations in over 70 languages.
Все слышали про Boston Dynamics. Их покупает хендай, интересно, что они будут делать с ними.
2020 December 11
Статья про история Olap кубов. Самые популярные кубы, которые лосих пор в ходу это Microsoft Analyses Services. Да и те переключились с Multidimensional Model в Tabular Model. Лично я их не люблю, потому что, это дополнительный слой в аналитическом решении между хранилищем и BI. Но есть ребята, кто так лихо ими умеют пользоваться и подключают готовый куб к Excel, что не подкопаешься, и бизнес пользователи довольны, ведь пользуются Excel☺️
Современные аналитические хранилища, тем более облачные, должны и без кубов справляться со своей работой. Но как я понимаю, еще много вакансий в России, где есть SQL Server + SSAS, и там нужно знать этот инструмент. Но мне повезло, работал с ними немного.
Современные аналитические хранилища, тем более облачные, должны и без кубов справляться со своей работой. Но как я понимаю, еще много вакансий в России, где есть SQL Server + SSAS, и там нужно знать этот инструмент. Но мне повезло, работал с ними немного.
