Size: a a a

Инжиниринг Данных

2020 February 06
Инжиниринг Данных
В pdf попалась моя книжка  - Tableau Cookbook 2019. Тут есть информация интересная про Tableau Prep, Tableau+Python/R и для Data Science. Tableau для Big Data (Hadoop(Amazon EMR)+Hive, Redshift, Snowflake), Tableau + ETL best practices и все остальное про Tableau.
источник
Инжиниринг Данных
anoshin_d_et_al_tableau_2019_x_cookbook_over_115_recipes_to.pdf
источник
Инжиниринг Данных
Не давно я писал про Synergy Digital Forum. В итоге я согласился у них выступать - с темой Data-driven Business at Amazon Scale или Data-driven Marketing at Amazon Scale. Так же договорились в марте провести вебинар (17 марта), я думаю расскажу про создание современной аналитической платформы (для маркетинга) на AWS. Я понимаю, что немного не по адресу будет, но пока на другое фантазии не хватает.
источник
Инжиниринг Данных
Из рабочих будней в Амазон:
Я: Дорогой, менеджер, за 4 года, моя зп не росла, мне не хватает денег. Есть ли варианты?

Менеджер: Я не могу тебе посоветовать как лучше распоряжаться своим доходом, это полностью твое дело. Я полагаю, что Амазон можете помочь тебе найти финансового советника, который поможет тебе лучше планировать свое финансовое положение. (это просто не моя специализация).


🤦‍♂️🤦‍♂️🤦‍♂️
источник
Инжиниринг Данных
Очень классная статья как работает Netflix http://highscalability.com/blog/2017/12/11/netflix-what-happens-when-you-press-play.html
источник
2020 February 07
Инжиниринг Данных
источник
2020 February 08
Инжиниринг Данных
Нашел на прсоторах Амазон, ссылочку на 15 часов видео про ML. Все очень подробно! https://www.r-bloggers.com/in-depth-introduction-to-machine-learning-in-15-hours-of-expert-videos/
источник
Инжиниринг Данных
Следующие 2 недели я планирую ничего не писать и просто отдохнуть, в Мексике🏖 По возвращению, я хочу сделать лендиг для курса(ов) про которые я уже говорил. Хочу сделать 3 курса, они будут бесплатные, и будет отдельный чат в Slack для каждого из них, где участники смогут помогать друг другу. Такой вот community driven. Заодно, может кто будет ambassador и помогать с курсом и организацией.

====

2 главных принципа у всех материалов:
1) Максимально просто - KISS (Keep it super simple), поможет понять основы, а дальше уже можно и углубляться самим.
2) Будет от простого к сложному и будет все взаимосвязано, например, когда у нас не помещается в Хранилище данных наши данные, мы только тогда будем использовать BigData, или например когда устали вручную в excel данные гонять, мы будет в BI делать.

=====

Курсы:

1. Getting Started with Data Engineering, ~10 недель, с одним вебинаром в неделю и с домашкой, от простого к сложному, что-то вроде моей карьеры за 10 недель.

2. Data Literacy for everyone - это такой совсем водный, кто вообще не работал с данным, начнем с эксельки, потом BI/SQL, визуализация и может еще чего.

3. Data Analytics for Women 👩‍🔧👩‍🏭👩‍🔬👩‍⚕️🧝‍♀️💃 - идея запустить это сообщество, научить работать с данными, BI/DW/SQL и тп. Уравнять шансы с другими. Я решил выделить отдельно его, что вам было комфортно друг другу помогать (женская солидарность?). Так же надеюсь, что появится много новых специалистов по данным кто до этого не работал, отличная возможность построить новую карьеру. Здесь мне конечно понадобиться ваша помощь, чтобы кто-то курировал и развивал (женское комъюнити).  Но точно будет отличная возможность научить.

====
Потом нужно придумать сертификат, будет по принципу успеваемости, если не делаете домашнее задание за неделю, то отсеиваетесь, кто дайдет до конца получит сертификат, и референс, или еще чего, но что-нибудь полезное, и заодно в конце обсудим, что можно делать со знаниями, где искать работу и тп.

====
FAQ
1) Почему бесплатно? - Все самое лучшее, всегда бесплатно! Вы просто можете посылать мне лучи благодарности и я буду счастлив😉 Ну заодно, возможно получиться вырастить аудиторию, а если есть аудитория, то уже можно делать интересные проекты и привлекать вендоров/спонсоров.

2)Как будет это все происходить? Пока точно не понятно. Но я создам простой сайт в wix/tilda, где будут все материалы. Каждую неделю, буду добавлять модуль + видео и задание. Будет slack канал где можно будет обсуждать проекты и задавать вопросы. Так как курс бесплатный, то придется иногда самим разбираться и читать на английском инструкции.

3)А вообще нужно платить? Вообще, когда мы дойдем до облачных сервисов, возможно придется платить, но большинство бесплатно.

4)Какие технологии? Будет точно BI/DW/ETL/ELT/BigData. Использовать будем:
- Excel, notepad
- SQL databases Postgres/Mysql
- DW (sql database) Amazon Redshift (Cloud MPP DW)
- ETL Pentaho DI
- ELT Matillion (возможно) или Amazon Glue
- BigData Elastic Map Reduce (Hadoop), Hive, Presto, Athena, Spectrum
Самое главное это понять, как все это взаимосвязано, и какие еще элемeны есть, например можем ли мы пользоваться командной строкой и когда это нужно.
- BI Tableau (или Power BI если вы сами будете). В принципе.

====
PS может про 10 недель нон стоп это очень амбициозно, но посмотрим как пойдет, может будет 5 человек всего, и тогда вопрос отпадет сам собой😎
источник
2020 February 15
Инжиниринг Данных
Свежий отчет Gartner по BI решениям. Появился Alibaba Cloud, ThroughtSpot в лидерах, а вот AWS Quicksight что-то не дотягивает.  https://www.tableau.com/reports/gartner
источник
Инжиниринг Данных
Сегодня прочитал интересную цитату, из средневековья причем - Люди хотят облегчения, но не хотят лечиться, так как это больно. На английском звучит проще - "People Want Relief. Cure Is Painful". Эту цитату можно отнести к чему угодно.

Например, хотим успехов в спорте? Диеты, тренироки? Долго и муторно, лучше как-нибудь по-быстрому. Красивая реклама продаст волшебную пилюлю, и обещает результат.

Хотим денег? Учиться, работать - тоже долго, а вот лотерея это быстрей.

Хотим быть крутыми аналитиками, инжинерами и разработчиками? Тоже можно повестись на красивую рекламу, которая гарантирует "облегчение" но не "лечение".

Так же и с финансовыми операциями, вообще применимо ко всему.

Получается реальный результат достигается через боль и труд. А у вас как?
источник
Инжиниринг Данных
Я тут написал о своем канале в KZ BI канал, и поэтому я с вами поделюсь этим каналом, вдруг кто из KZ
источник
Инжиниринг Данных
Переслано от Екатерина Рехерт Cat...
🎉Ура! KZ BI community исполняется 1 год! - отпразднуем в субботу 22.02.2020 в 12:30 🎉

KZ BI Community за один год объединило более 1200 человек, которым интересна сфера анализа данных! На мероприятиях  KZ BI Community любой желающий с нуля может научиться реальным навыкам анализа данных (Excel, PowerBI, SQL, Python и  др), а также познакомиться с топовыми экспертами Казахстана и мира (у нас выступали специалисты из аналитических команд Kolesa Group, Kaspi Bank, Beeline, и даже Google!).

🔥🔥🔥На этом митапе мы столкнем друг с другом 3 главных конкурентов в сфере BI-аналитики: PowerBI, Tableau, Qlik Sense - будет жарко! Приходи и отпразнуй наш день рождения вместе с нами! Будут спикеры из Microsoft Kazakhstan, KPMG, EPAM, Tableau User Group, Datanomix

🎯Дата и время: 22.02.2020, суббота, 12:30
📍Локация: г.Алматы,  ул. Сатпаева, 16А, университет «Туран», 3 этаж, Актовый зал
💃С собой: иметь хорошее настроение
💰Бюджет: вход бесплатный, по регистрации https://forms.gle/t4CrK6aynfaQtDhS9
Google Docs
Митап KZ BI community - нам 1 год!
🎉Ура! KZ BI community исполняется 1 год! - празднуем 22.02.2020 в 12:30 🎉

KZ BI Community за один год объединило более 1200 человек, которым интересна сфера анализа данных! На мероприятиях  KZ BI Community любой желающий с нуля может научиться реальным навыкам анализа данных (Excel, PowerBI, SQL, Python и  др), а также познакомиться с топовыми экспертами Казахстана и мира (у нас выступали специалисты из аналитических команд Kolesa Group, Kaspi Bank, Beeline, и даже Google!).

🔥🔥🔥 На этом митапе мы столкнем друг с другом 3 главных конкурентов в сфере BI-аналитики: PowerBI, Tableau, Qlik Sense - будет жарко! Приходи и отпразнуй наш день рождения вместе с нами! Будут спикеры из Microsoft Kazakhstan, KPMG, EPAM, Tableau User Group, Datanomix

Программа

12:30 - 13:00 Регистрация (приходите вовремя пожалуйста!)
13:00 - 13:20 Приветствие. Екатерина Рехерт, основатель KZ BI Community, Data Scientist в Kolesa Group, ex-BI-аналитик Майкрософт, со-основатель DataBoom.kz
13:20 - 13:50 "Будущее аналитики данных" Алмас…
источник
2020 February 16
Инжиниринг Данных
Дочитал книгу Fake. Действительно крутая книга, про РЕАЛЬНОЕ финансовое образование. В книге Роберт пишет про:
1) Fake Money - все знаю о том, что деньги печатаются в любом количестве и этот процесс не контролируется государством. Богатые богаче, бедные бедней. Деньги печатаются, инфлация растет, покупательская способность падает.  Решение, это реальные деньги - золото, серебро и другие металлы, значит, нужно часть активов хранить в реальных металлах (god's money). Все стоки, бонды ETF, акции и тп, это деривативы, то есть fake.

2) Fake Teachers - это про школу и университеты, где нас не учат реальным знаниям, а готовят по специальности, главная задача, чтобы мы работали и платили налоги, отчисления в пенсию и тп. Рабочий класс несет основную налоговую нагрузку. Для бизнеса очень много налоговых послаблений. Вариант - накопить денег, купить акций, откладывать на пенсию и тп, это плохой вариант. Так как мы сначала заплатим все налоги, фи и тп, и потом нас еще оберут, и деньги подешевеют, это вариант для "бедных" (бедный не значит мало денег, автор делит людей на бедных и богатых по другим признакам, по финансовой грамотности, бедные это рабочий класс и самозанятые, кто платят налоги, а богатые ты кто работает не ради денег, они знают как использовать заемный капитал (кредиты, ипотеки и тп), чтобы быть еще богаче (легально).  

Так же он говорит, в общем про учителей, тренеров, менторов и тп, кто нас учит как нужно делать правильно и берут за это деньги. Часто бывает, что это fake, и дает неправильные советы, особенно много финансовых советников, которые живут на комиссиях. То же самое и про курсы по работе с данными. Где вы учитесь? У реальных учителей или нет?

3) Fake Assets - он разделяет на 2 категории liability (то что у нас забирает деньги, например ипотека, кредиты, семья) и assets ( что нам приносит деньги)

Я немного сумбурно пересказал 450 страниц с картинками и графиками. Но я понял, что я был наивный, считал, что я получаю хорошую зп (плачу до хрена налогов) и есть немного акций, откладываю в Канадский пенсионный фонд, и думаю о том, чтобы копить. Так умные люди не делают, если я хочу действительно быть богатым, я должен перейти из квадранта наемного сотрудника и самозанятого контрактора в бизнес квадрант, и не боятся разбираться как работает налоговое регулирование в Северной Америке и научиться использовать заемный капитал, ну и копить золото и серебро. В общем надо учиться реальной финансовой грамотности.

А у вас как с этим? Откладываете зарплату или что посерьезней?
источник
2020 February 17
Инжиниринг Данных
Классное сравнение Power BI и Tableau. Автор фломастерами нарисовал картинки, получилось забавно.  https://www.whatdatashows.com/between-tableau-and-power-bi/
источник
Инжиниринг Данных
источник
Инжиниринг Данных
А вот и про Airflow на русском, очень понятно написано, что такое DAG и Airflow. https://khashtamov.com/ru/apache-airflow-introduction/
источник
Инжиниринг Данных
А вот квадрант по Data Science. Я знаю хорошо про DataBricks (Spark) и Alteryx. SAS хоть и лидер, но дорогой и неудобный. https://www.alteryx.com/third-party-content/gartner-2020-mq-data-science-machine-learning-thank-you
источник
2020 February 18
Инжиниринг Данных
Новую книгу начал - flawless consulting, 1981 год, фундаментальные знания про консалтинг и про взаимодействия клиента и консультанта. Кстати, работая BI разработчиком или аналитиком, мы тоже являемся консультантом для наших клиентов (flawless это значит безупречный)
источник
Инжиниринг Данных
Как обычно все круто разложено https://vas3k.ru/blog/augmented_reality/
источник
2020 February 20
Инжиниринг Данных
Недавно я скидывал статью на русском про Airflow. Там на хорошо было написано, что такое Directed Acyclic Graphs (DAG). Для тех кто любит углубиться в детали я нашел paper.
источник