Size: a a a

Инжиниринг Данных

2020 December 29
Инжиниринг Данных
Как создать свою игру и заработать на ней?
Что актуально сегодня и будет востребовано завтра?
Как устроен процесс разработки в мобильном геймдеве?

https://t.me/product_gamedev

В этом канале рассказывается внутренняя кухня разработки игр. Геймдизайн, аналитика и маркетинг.
Кратко, без воды, только самая суть.
источник
2020 December 30
Инжиниринг Данных
источник
Инжиниринг Данных
Whitepaper от облачного ETL Fivetran про маркетинговую аналитику
источник
Инжиниринг Данных
Уже неделю всей редакцией (сам с собой, ага) кайфую с энциклопедической статьи про базы данных. Если бы сейчас кто-то попросил скинуть материалы для погружения в тему - поставил бы на первое место без колебаний.

Тут и схемы, и графики, и топы, и написано по делу (и даже нет привычного срача в комментах).

Немного про статистику и тренды:
- реляционные БД все еще сила, занимают почти 75% рынка;
- open source и тут растет и, кажется, скоро начнет побеждать;
- облачные БД тоже растут, но до победы еще ой как далеко;
- подробнее про популярность различных БД тут.

🔗 Ссылка на статью
источник
Инжиниринг Данных
33 Tableau Tips от Tableau Zen Master Ryan Sleeper (это его книги по табло доступны в русском переводе)
источник
2020 December 31
Инжиниринг Данных
Есть что рассказать про Data Analytics на английском, можете попробовать зарегистрироваться тут https://callfordataspeakers.com/

А если хотите на русском, то welcome в datalearn, проведем вебинар!
источник
Инжиниринг Данных
Еще один инструмент для ETL, Data pipeline и даже для ML. https://dagster.io/
источник
Инжиниринг Данных
У Microsoft есть сайт, где можно выбрать бесплатные тренинги и воркшопы онлайн https://events.microsoft.com/
источник
Инжиниринг Данных
🎉 Друзья всех с Наступающим Новым Годом, а для тех кто будет это читать или смотреть позже, то уже С Новым Годом!

❤️ Команда DataLearn шлет поздравления - всем участникам сообщества и будущим новичкам.

❤️ В поздравлении мы анонсировали часть новинок, которые вас будут ждать, но далеко не все, а анонсы новинок в том числе не представленных в видео, анонсируем в ближайшее время
https://youtu.be/LaV5m7S3KP0
источник
2021 January 03
Инжиниринг Данных
Короткое и интересное видео про работу голосовых помощников, которые собирают наши данные, чтобы делать рекламу умней. Интересный момент, колонки Гугл и Алекса почти задаром, а вот у Яндекса они стоят очень дорого, чтобы собирать данные клиентов. Возможно производство не такое массовое и поэтому дорогое.
источник
Инжиниринг Данных
Netflix описал как они оптимизировали хранилище данных в Amazon S3. https://netflixtechblog.com/optimizing-data-warehouse-storage-7b94a48fdcbe
источник
2021 January 04
Инжиниринг Данных
В этом посте один товарищ долго и с картинками размышляет про разницу ETL и ELT.
источник
Инжиниринг Данных
Хороший пример сравнения создания Bar Chart в Tableau и Power BI.
источник
Инжиниринг Данных
Пример архитектуры для Big Data на AWS/GCP/Azure
источник
2021 January 05
Инжиниринг Данных
Матилион недавно рассказал просто про Lakehouse на BigData London.

Lakehouse = DW + Data Lake. В облаках они хороши вместе уживаются в общую платформу.
источник
Инжиниринг Данных
Попался интересный ресурс про Data
источник
Инжиниринг Данных
Добавил новое видео про ETL подсистемы.

Согласно Ральфу Кимбаллу (тот самый, который изобрел Dimensional Modelling), существует 34 ETL подсистемы, которые делятся на 4 основных категории:
📌   Data Extracting (получить данные из систем - E в ETL)
📌   Cleaning and Conforming Data (интеграция данных и подготовка к загрузке в DW - T в ETL)
📌   Delivering Data for Presentation (обработка данных в DW - L в ETL)
📌   Managing the ETL environment (yправление и мониторинг компонентов ETL)

Само по себе понятие ETL подсистема - это некая абстракция. Не нужно копать глубоко. Как правило - это либо компонент ETL решения, например готовый компонент в Pentaho DI для создания SCD Type 2 (подсистема 9) или компонент для создания последовательности чисел, в случае необходимости генерации суррогатных ключей (подсистема 10). Это может буть функциональность ETL инструмента для обработки ошибок (подсистема 5) или возможность мониторинга выполнения ETL job (подсистема 27).  

Ну а если вы используете код (python, java, C и тд), то вам необъодимо уже изобретать свои компоненты или искать существующие.
источник
2021 January 06
Инжиниринг Данных
Старый пост от HBR про Learning to Learn. Главное преимущество тогда и тем более сейчас это учиться быстрее чем ваши конкуренты (применимо для компаний). Тоже само и про персональное развитие, это непозволительная роскошь что-то выучить от начала до конца и расслабиться. (В нашей профессии конца нет, пока учишь одно, появляется ещё 3 новых технологии/подхода). Чем дальше тем больше нужно учить, поэтом скорость потребления материала (не количество прочитанных книг или прослушанных лекций), а именно ценные блоки информации, которые помогают нам развивать нашу карьеру и компетенцию.
источник
Инжиниринг Данных
Очень веселая презентация - Statistics for Hackers
источник
2021 January 07
Инжиниринг Данных
Переслано от Oleg Agapov
я бы сразу линк на talk давал, он супер позитивный, и чувак действительно объясняет очень понятно
https://www.youtube.com/watch?v=Iq9DzN6mvYA
источник