Новый ебук от matillion про модернизацию хранилища данных https://pages.matillion.com/Modernizing-Your-Data-Warehouse-Ebook.html

Одна из лучших аналитических компаний Северной Америки Quantum Black (дочернее предприятие McKinsey), создала open source решение на Python для инжиниринга данных, вот более подробная информация про Kedro.

Я ранее писал про вакансии в Amazon Alexa в Boston. Вакансии есть, кандидатов нет. Кучу индусов которые откликаются, и которых мы собеседуем, ни разу не вариант.

Вот, какой ответ дал нам HR: Как обычно все сложно. Всеми любимая виза H1b не будет доступна до начала следующего года. Так как они провтыкали срок подачи заявок на 2019 году. Если у вас есть виза в США, (наверно рабочая), то они могут вас собеседовать. Обычно это занимает 3-4 недели.

Так что единственный рабочий вариант для гражданина, не являющегося гражданином США, который в настоящее время не имеет действительной визы в США, является O1-A. Эта виза может быть получена, если кандидат отвечает определенным критериям - таким как докторская степень, публикации, цитаты ученых из Google, рецензии, высокие награды, полученные в своей области, и т. Д. Процесс O1-A занимает 3-8 месяцев.

Так что не смотря на то, что в Бостоне есть вакансии к нам в команду для Data Engineers, BI Engineers, Data Scientists/ML engineers, и кандидатов нет, и я пытался продать идею про крутых специалистов за океаном (и идея им понравилась и бизнес готов был рассмотреть кандидатов), то все обломалось из-за отсутствия квоты на H1B. Поэтому если у вас есть Кандидатская и вы крутой специалист, то можно попробовать пройти процесс.

Интересное интервью с CEO QuantumBlack о начале их пути, о аналитики и ценности для бизнеса. QB начинали с F1, собирали данные и оптимизировали траекторию машин, время на пит стопе и тп. Стали экспертами в этой области. Их приобрел McKinsey, и теперь они работают вместе, MK выступает как subject matter expert в бизнес процессах, QB выполняет работу связанную с аналитикой и инжинирингом данных. Много хороших идей в статье, про роль аналитики для организации.

Вот это чуваки круто замутили! https://www.youtube.com/watch?v=IcH8qi1Ja3k

Если вы еще не видели новый ролик Гугл про 50 лет годовщину высадки на луну, https://youtu.be/t6VpHyKXHBM

Google Cloud Platform | list of products

Хотел поделиться небольшой новостью, Rock Your Data попала в список ТОП 20 аналитических компаний -  "20 BIG DATA CONSULTING FIRMS THAT THRIVE ON INFORMATION OVERLOAD", среди компаний Slalom, Boston Consulting Group и другие серьезные ребята. И мы единственная компания из Канады в списке. Радует то, что нам прислал ссылку вендор. В описание вообще забавно - "Azure Glue or Prep", должно быть "Azure Data Prep or AWS Glue", но сойдет, чтобы клиентам рассказывать.

Может быть мы не супер большая консалтинговая компания, но маркетинг у нас на высоте и движемся мы в нужном направлении.

Еще есть одна история интересная, называется "Как получить млн долларов от Китайских инвесторов и открыть офис в Китае", меня она даже пугает немного, насколько там все стремительно. Если у вас есть аналитический продукт (аналитическая дата платформа), то можно обсудить. Я отдельно расскажу как-нибудь, когда придем к какому-то решения с Китайскими партнерами.

А еще я проведу следующий месяц в Бостоне в офисе Amazon Alexa, буду тут набираться знаний, говорят тут самые умные люди в Бостоне в Северной Америке. Узнаю как там нужно делать маркетинговую аналитику для умной микроволновки.

Facebook remainds the start date

Когда мы работаем с облачными сервисами, то у нас есть возможность использовать различные типы сервисов (Iaas, Paas, Saas). Я раньше скидывал хороший пример Pizza as Service, на котором видно в чем разница. Один из самых популярных сервисов на AWS - это Lambda функции.

Идея простая. Например, нам нужно выполнить код. Обычно мы создаем виртуальную машину, используем крон (утилита на линукс, чтобы выполнять задачки по расписанию), чтобы запускать наш код по расписанию. Вместо этого, мы можем поместь наш код в Лямбду, и она будет выполнять его по необходимости, то есть
1)Мы экономим, нам не нужно использовать виртуальную машину
2)Мы повышаем устойчивость, так как возможность сбоя виртуальной машины и других компонентов достаточно велика, а если у нас еще много сложных взаимосвязий, то все легко может поломаться.
3)Решение может легко масштабироваться, потому что это сервис, который менеджиться AWS, мы только платим за использование.

Когда создают решение на AWS, очень часто используют Лямбду, для выполнения блоков кода.

Есть понятие Monolithic vs. Microservices Architecture, то есть архитектура нашего решения монолитная или распределенная. Это используется не только для разработки ПО, но и для аналитики. Идея простая, мы хотим иметь независимые элементы системы, которые работают автономно, чтобы повысить производительно и стабильность решения. Особенно удобно для задач ML.

Я пока не использую этот подход, но это важный навык для инженера данных. Из простых примеров - у меня есть Redshift Data Warehouse, для его успешной работы мне нужно собирать статистику таблиц. Я могу использовать вирутальную машину и поставить скрипт на расписание, а могу использовать Лямбду и она будет выполнять мой скрипт по сбору статистики. Таким образом, мне не нужна дополнительная виртуальная машина.

What's the Difference? Agile vs Scrum vs Waterfall vs Kanban

Вебинар https://gigaom.com/webinar/the-modern-data-warehouse-one-place-for-all-your-analytics-data/

20 августа будет вебинар по Qlik, https://events.webinar.ru/novobi/qlik# Qlik - это одно из BI решений, такое же как Tableau, Power BI. Конечно они все разные. Я работал с Qlik только один раз, это было полностью кастомизированное решение на скриптах Qlik, которое включало в себя элементы ETL/DW, было не просто. Если что, то я за Tableau. Но всегда не плохо узнать про другие продукты и способы их пременения, особенно, если вы работаете с аналитикой и данными.

Zappos - это дочернее предприятие Амазон, находиться в Лас Вегасе. Очень успешные и креативные. Это интеренет магазин обуви, у них супер культура. и они практикуют holacracy А статья про их недавний проект https://venturebeat.com/2019/07/17/zappos-lead-data-scientist-on-the-challenges-of-using-semantic-search/