Size: a a a

Инжиниринг Данных

2020 December 18
Инжиниринг Данных
Дерево Технологий Инженера данных глазами автора Building data teams. С ним у меня точно расходиться мнения. Тут больше про инженера данных для решения больших данных с помощью кода. Но кому-то будет интересно.
источник
Инжиниринг Данных
Хороший whitepaper от Канадской компании по аналитике, которая являются крутыми партнёрами Google и внедряют решения и модернизируют аналитики с помощью google cloud.  Стоит пролистать!

Кстати, мы хотим провести вебинары по 3м темам:
1) end to end analytics solution on AWS
2) end to end analytics solution on Azure
3) end to end analytics solution on GCP

Это хорошо поможет модулю 6 и 8. Я могу рассказать 1 и 2, но это требует время на подготовку. Я уверен есть опытные инженеры кто хорошо разбирается в конкретном облаке и может рассказать какие там сервисы и решения для data warehouse, bi, ETL, bigdata, ml.  

Пишите, и сделаем крутые вебинары! А потом может и курс🚀🚀🚀
источник
Инжиниринг Данных
Всем привет! Пятница и снова хорошие новости и маленькая победа! За рекламный пост, который я расшарю в понедельник утром, организация https://vsevsevmeste.ru/ получила перевод 10т рублей!

PS спасибо за рекомендацию благотворительных организаций выше, мне понравилось, что они делают!
источник
2020 December 19
Инжиниринг Данных
источник
Инжиниринг Данных
А это поздравления от игры, для которой я делаю аналитику.
источник
Инжиниринг Данных
источник
Инжиниринг Данных
В одном из модулей datalearn я упоминал про Lean Analytics и фреймворки для аналитики. Вот хорошая статья про эти подходы.
источник
Инжиниринг Данных
Роман Пономарев подготовил новый вебинар с главным российской экспертом по Tableau Романом Буниным💪:


Друзья, у меня для вас приятная новость.
В понедельник вебинар, с уже любимым нами Романом Буниным. Те кто с нами давно прекрасно знают Романа, а для тех кто недавно: Роман крутой специалист по визуализации и Табло и руководит командой визуализации в Яндекс Такси. Так как многие из вас успешно не сделали домашнее задание по 3му модулю, которое давал Роман Бунин, мы решили дать вам время реабилитироваться и сделать не менее полезный вебинар:

Адаптивная верстка дашбордов в табло
Чтобы дашборды классно работали на экранах разного размера нужно уметь делать правильные настройки дашборода и контейнеров. И речь не только о верстке для мобильного и ноутбука, а о разных размерах мониторов. На вебинаре разберём как правильно настроить размер дашборда, как использовать функционал контейнеров и как сверстать мобильную версию дашборда в Табло.

Что нужно сделать:

📌Перейти по ссылке и поставить колокольчик, чтобы в понедельник не пропустить
📌Отложить все дела на понедельник
📌В понедельник в 20:00 быть на вебинаре

Кто не смотрел предыдущий вебинар, посмотрите там ай-я-яй какая польза

В общем приходите будет очень интересно😏
https://youtu.be/GE1czOiI-8o
понедельник в 20:00 быть на вебинаре

Кто не смотрел предыдущий вебинар, посмотрите там ай-я-яй какая польза

В общем приходите будет очень интересно😏
https://youtu.be/GE1czOiI-8o
источник
2020 December 21
Инжиниринг Данных
источник
Инжиниринг Данных
Банк ВТБ в поиске опытных тестировщиков и аналитиков в Москве, Самаре и Санкт-Петербурге!

Работаем в кросс-функциональных командах, в каждой из которых собрано максимум компетенций для создания лучших цифровых продуктов. Никаких длительных согласований — ответственность за продукт перед клиентом и руководством полностью несет команда и ее лидер. Это позволяет реализовывать смелые проекты в кратчайшие сроки. Больше проектов – больше шансов проявить себя и построить карьеру!
 
Присоединяйтесь, если аналитический подход и внимательность — ваш девиз по жизни!

Москва:
QA инженер
Системный аналитик

Самара:
Тестировщик (функциональное тестирование, брокерские услуги)
Тестировщик (атотестировщик)
Аналитик обязательной отчетности
Системный аналитик
 
Что нужно уметь:

➡️Тестировать:

📌           Опыт работы в функциональном и/или интеграционном/автоматизированном тестировании ПО от 2-х лет;
📌           опыт тестирования WEB приложений и сервисов (желателен опыт тестирования банковских продуктов).

➡️Организовывать процессы:

📌           Опыт работы c JIRA, Confluence, GIT/SVN, HP ALM (или аналог);
📌           знание техник тест-дизайна, опыт написания тест-кейсов и их приоритизация.

➡️Анализировать:

📌           Понимание реляционной модели данных, знание SQL на уровне, достаточном для выполнения запросов и понимания хранимых процедур;
📌           понимание принципов работы клиент-серверных приложений, REST API, SOAP;
📌           навыки анализа логов и выяснения root-cause ошибок.
 
Что вы получите:

📌 фокус на развитие: hard skills в рамках современного технологического стека.
📌 интересные задачи: более 150 крупных проектов и свыше 12 000 внедрений в год. Каждая задача — реальная потребность бизнеса.
📌 карьерный рост: возможность выбора направления для роста и развития. 1100 команд — найдите свою по духу и задачам.

Оставляйте отклик и присоединяйтесь к команде, которая создает банк будущего для миллионов людей!

PS: Это от них ушло 10т для vsevsevmeste.ru
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Роман Бунин закончил вебинар - Адаптивная верстка дашбордов в табло. Весь контент от Романа это вверх профессионализма. Если вы работаете с дашбордами, я вам очень рекомендую просмотреть всего его вебинары.  Помимо datalearn, Роман успел выступить в Vancouver Tableau User Group и Amazon Tableau User Group.

Так же он сделал дашборд для DataLearn, где его вебинар - Дашборд Канвас опережает все другие видео в несколько раз по просмотрам😎

Добавьте к себе в закладки сегодняшний вебинар и обязательно расшарьте в социальных сетях!
источник
Инжиниринг Данных
источник
2020 December 22
Инжиниринг Данных
У data learn пока нет сертификатов, но обязательно будут. Пройдет время, и студенты datalearn будут котироваться. Когда мы создаем сообщества, они растут очень медленно, но у них самый высокий ROI. Когда вы помогаете одним людям, они потом помогают другим, и так кирпичик за кирпичиком, создается, что-то стоящее. На платной основе такое сложно сделать, так как создание курсов datalearn это творческий процесс, нужно вдохновение. Поэтому идет медленно, идеи должны кристаллизоваться и дорасти. Как показывает дашборд с YouTube, у нас отличный сентимент и высокое качество контента.

Мне очень нравиться концепция бейджей у вендоров, поэтому теперь и у datalearn будут бейджи. За каждый модуль и выполненное ДЗ вы получаете бейдж, за 12 бейджей - вы получаете сертификат.

Мне кажется к окончанию курса datalearn будет более узнаваем и добавит весу при устройстве на работу🤙
источник
Инжиниринг Данных
Недавно узнал про Coding интервью FizzBuzz. Оказывается известный термин в кругах программистов. Вот статья.  Статья написано в 2007 году, когда еще не было whiteboaring, screen sharing и тп. Мужик задумался над вопросом, что про резюме вроде опыт хороший и история опыта красивая, но инженер не умеет писать код, и нужно проверять именно написание кода. Так же он пришел к выводу, что достаточно проверять простые базовые вещи. Нет смысла проверять сложные алгоритмы (кстати так делает Facebook на собеседовании для инженеров данных). Он вспомнил школьную игру - FizzBuzz, где нужно говорить Fizz, если число делится на 3, Buzz, если число делится на 5 и FizzBuzz если на 3 и 5. Поэтому он стал просить кандидатов написать программу, которая будет это делать.

Write a program that prints the numbers from 1 to 100. But for multiples of three print “Fizz” instead of the number and for the multiples of five print “Buzz”. For numbers which are multiples of both three and five print “FizzBuzz”.

Как оказалось много выпускников не могли справиться с таким заданием.
источник
2020 December 23
Инжиниринг Данных
источник
Инжиниринг Данных
Еще одна инициатива (помимо Minecraft) для обучения детей кодингу - Space Jam with Bugs Bunny!
источник
Инжиниринг Данных
Китайцы серьезно прокачивают свое облако. Вашему вниманию предлагается Real-time data warehouse - Hologres (не путать с Postgres).  

Если вы любите копать вглубь, то вам тогда нужно прочитать paper.
источник
Инжиниринг Данных
Lakehouse = DW + Data Lake.

Примеры lakehouse:
- Redshift + Redshift Spectrum
- Snowflake
- Databrics Delta Lake
- Azure Synapse Analytics

Попался очень интересный paper, который был только недавно опубликован основателями Databricks.

This paper argues that the data warehouse architecture as we know it today will wither in the coming years and be replaced by a new architectural pattern, the Lakehouse, which will (i) be based on open direct-access data formats, such as Apache Parquet, (ii) have first class support for machine learning and data science, and (iii) offer state-of-the-art performance. Lakehouses can help address several major challenges with data warehouses, including data staleness, reliability, total cost of ownership, data lock-in, and limited use-case support.
источник
Инжиниринг Данных
источник