Size: a a a

Инжиниринг Данных

2020 July 18
Инжиниринг Данных
Вот он список вакансий, кто работает с данными.
источник
2020 July 19
Инжиниринг Данных
источник
Инжиниринг Данных
Визуализация данных это неотъемлемая часть любого BI решения. Эксперты пишут книги, университеты готовят специалистов и все для того, чтобы научить нас эффективно коммуницировать данные с конечным пользователем. Каждый раз когда вы будет создавать дашборд или строить отчет, вы должны задуматься о том, как лучше рассказать историю на основе данных и какой метод визуализации использовать.

В этом видео мы узнаем:
📌  Лучшие книги по визуализации данных
📌  История визуализации данных
📌  Обзор популярных графиков
📌  Примеры плохих и хороших дашбордов
📌  Примеры дашбордов из прошлого в SAP BO и Microstrategy
📌  Дашборд Канвас

https://youtu.be/zUpKIFFy-ok
источник
Инжиниринг Данных
Одна из проблем в Амазон с озером данных в AWS - соответствие требованиям GDPR/HIPPA, то есть просто удалению клиентов (customer_id и все его записи) по запросу. Это легко сделать из таблицы в БД, но не просто из файла в S3. И вот новинка, теперь можно удалять из озера данных. https://aws.amazon.com/about-aws/whats-new/2020/07/amazon-athena-adds-support-querying-apache-hudi-datasets-amazon-s3-based-data-lake/
источник
2020 July 20
Инжиниринг Данных
Хороший пример как обсуждают примеры платных курсов, где обещают трудоустройство и резюме с красивыми словами. Я все больше слышу людей про недовольство платными курсами, получаются они просто не работают   в таком виде, в каком они есть. Идея классная, но реализация не работает, так как это бизнес, где зарабатываются деньги, а главный KPI это кол-во студентов, кто купил курс. У вас есть интересные истории про платные курсы? Я купил курс только однажды - за 10 долларов на Udemy, по подготовке к сдаче экзамена, и это был крутой курс, я сдал экзамен:)

Рабочая модель это где нужно платить за результат. Вы прошли обучение, и если вас взяли на работу или дали повышение, то вы платите %. Ну или вас учат внутри компании их топ специалисты и вы уже работает парт тайм.
источник
Инжиниринг Данных
Может есть среди знакомых такие спецы?) Если вы из HR можете как шаблон использовать😊
источник
Инжиниринг Данных
Кто-нибудь использовал? docs -> https://lnkd.in/eaqxxdS
repo -> https://lnkd.in/ewSVm-a

Это микросервис для ML моделей.
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Важный концепт в современной аналитике https://m.youtube.com/watch?v=vzMPzvL05x8
источник
Инжиниринг Данных
Tableau запускает новую сертификацию для партнеров - 2 новых экзамена:
- Tableau Certified Associate Consultant
- Tableau Certified Associate Architect

Кстати Rock Your Data является партнером Tableau в Western Canada и единственным партнером в British Columbia. Скоро партнерство заканчивается и нужно будет оплачивать fee на след год. Так же необходимо получать новую сертификацию.

На данный момент людей не осталось, кто мог бы это направление развивать. Но для этого нужно будет пройти сертификацию. Я подумал о том, что можно взять Канадский рынок и через RYD продавать консультантов. Примерно как работают Индийский компании. Только более цивильно. Я знаю есть компании и из СНГ, кто работает по такой модели. Для Tableau уже все есть, много возможностей. Нужны сертифицированные консультанты или те, кто хочет получить сертификацию и выучить продукт. Ну и конечно английский язык нужен. Можно tableau завалить списком людей с экзаменом и стать самым сильным партнером Табло в Канаде😎 В принципе по такой схеме можно любой продукт продавать и внедрять. Но есть хорошие отношения только с Tableau, Microsoft Azure Data Platform, Matillion ETL и Snowflake.
источник
2020 July 22
Инжиниринг Данных
Знаете какой сейчас тренд номер 1 в Северной Америке, и не только в ней? Это privacy. Все о чем так долго говорили - GDPR, HIPAA, CCPA, теперь дошло до аналитики и хранилищ данных. Вот ещё одно подтверждение - Snowflake купил компанию, которая занимается аналитикой но уже с учётом privacy. В Амазоне все мои проекты завязаны на удаление клиентских данных. А помимо удаления, есть ещё одна опция интересная - когда клиент просит предоставить ему все данные о нем, которые собрала компания. А если не можете удалять записи о клиентах по запросу, то вы не можете собирать клиентские данные и использовать их для аналитики и моделей ML. Как у вас в аналитике с этим? В России какие требования?
источник
Инжиниринг Данных
источник
2020 July 23
Инжиниринг Данных
Сегодня получил 2 самые свежие книжки по созданию аналитических команд и управлению аналитикой. Много хороших отзывов про них видел.
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Всем привет, я все с идей про женскую аналитику🤗 Но! Я имею ввиду не читателей канала, а тех, кто мог бы ими стать, если бы знал, что такое аналитика. Возможно стоит про это писать в чатах для мамочек и тп. Но в целом по статистике получается так:

📹на YouTube у нас около 18% девушек (интересно как они определяют)
👩‍🎓на Data Learn у нас лучше соотношение - 32% женского пола

Есть еще интересная разбивка по возрасту. Было бы классно в будущем в университетах клеить плакаты Data Learn, и на кафедрах ИТ просить рассказать студентам. Сколько будет ценных кадров после завершения университета.

Что касается женской аналитике, есть маленький спрос и некоторые действительно хотят:
1) хотят помогать другим девушка
2) есть те, кому действительно нужна помощь и им было бы комфортно обсудить это вместе с более опытными коллегами

Недавно мне написала Полина из SAP в Германии. И предложила провести опрос для девушек  “Меня зовут Полина и я пробую организовать первую встречу для женского коммьюнити в datalearn. Хочется попробовать подстроить все под участниц, поэтому я буду очень рада узнать немного про тебя в этой анкете.

Вот ссылка на опрос https://www.surveymonkey.de/r/GSH56RY

Девушки, кто записывался на Data Analytics for Women, кто хотел бы узнать больше про аналитику и позиции в ИТ, пройдите опрос и приглашайте ваших подруг, кто вообще не из IT, а может просто в декретном отпуске.

PS Рома нарисовал картинку, говорит надо чтобы Click Through Rate был выше, у моих картинок он меньше🙈
источник
Инжиниринг Данных
У амазона есть сервис twich для стриминга. Они теперь буду использовать его как обучающую площадку для ML и бесплатно. Скоро будет первый урок. https://aws.amazon.com/blogs/training-and-certification/introducing-new-machine-learning-training-series-on-twitch-save-the-date/
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Александр Чернин написал интересный коммент. На одном из видео, я говорил, что надо говорить SEQUEL а не SQL, так как все инностранные коллеги так говорят.

Дмитрий, по поводу SQL и SEQUEL, есть история почему так произошло, а ситуация в том что первично был SEQUEL
(Structured English Query Language) раньше 1970 года, а потом ее поменяли на SQL так как первичное сокращение попадала под авторское право какой-то Английской компании.
И вот люди которые постарше или изучают из книг, так там часто встречается сокращение SEQUEL, а вот уже поколение постарше знает только SQL.
Правильно говорит и так и так)


Даже статью нашел.

PS это классно когда вместе привычного троллинга на просторах рунета у datalearn, да и в канале комментарии по делу!
источник
Инжиниринг Данных
источник