Попалось очень хорошее видео от Head of DE в Zalando на русском. “Дата-инженеры и кому они нужны / Валентин Гогичашвили (Zalando SE)”.

Под последним вебинаром - "ПОИСК РАБОТЫ ДЛЯ АНАЛИТИЧЕСКИХ СПЕЦИАЛЬНОСТЕЙ", где Анастасия разложила все по полочкам, как создать резюме и показать себя с лучшей стороны (продать подороже) у нас есть 2 комента:

1) Анастасия за лучший вопрос подарит консультацию, так что задавайте вопросы в комментариях. И если не смотрели еще, обязательно посмотрите.
2) Евгений оставил прекрасный фидбек. Мы искренне рады, что наша информация ему помогает. Лучшая награда для нашего ресурса это ваши истории, когда знания вам помогают достигать ваших целей.

Flink SQL - интересная технология для инжиниринга данных.

Один из подписчиков @AlexRattnik (кому подходит, пишите ему напрямую) попросил помочь найти к нему в команду Middle Data Engineer (Full-time). Он работает в сервисе онлайн образования в Москве. Пока COVID - работа из дома, потом - офис м.Октябрьская
Вилка: 120-160k net

Описание: Основной задачей команды является сбор и обработка данных для принятия управленческих решений, улучшения продукта, аналитики и машинного обучения.

Что предстоит делать:
- Поддержка и развитие инфраструктуры обработки данных. Используем HDFS,Mongo, Postgree, Dremio
- Написание и поддержка существующих ETL. Используем Python и Prefect.
- Участие в проектировании и внедрении DWH

Что мы ожидаем:
- Продвинутый опыт работы по администрированию Linux, Bash, Docker, git
- Опыт написания кода на Python
- Отличные навыки SQL, работы с реляционными БД (PostgreSQL ) и NoSQL
- Опыт по построению DWH и проектированию ETL

Будет плюсом:
- Опыт взаимодействия с Kubernetes, Prometheus, Grafana, Gitlab CI
- Работа с Clickhouse
- MLOps
- Умение работать со Spark, Hadoop, Kafka

Что мы предлагаем:
- ДМС;
- Гибкий график работы (время начала рабочего дня в интервале с 9 до 12)
- Работу в молодой и драйвовой команде
- Бесплатный доступ к любым нашим курсам и корпоративная скидка на обучение Английскому языку у наших партнеров.

Мы часто слышим термин ETL, а иногда мы слышим про ELT. Это неотъемлемая часть любого аналитического решения, когда необходимо консолидировать данные из различных систем источников (Source) в едином месте, обычно, корпоративное  или аналитическое хранилище данных (DW, которое является target для нас). Так же есть термин data pipeline, mapping и другие. Помимо терминов, есть еще роли - ETL разработчик и Data Engineer. В этом видео мы попробуем разобраться, что такое ETL, как термин и как инструмент. Вы узнаете:

📌   Что такое ETL?
📌   Чем отличается ELT от ETL?
📌   Что такое Data Pipeline и почему это так называется?
📌   ETL для Big Data
📌   ETL в облаке (Cloud)
📌   Клиент-Сервер для ETL
📌   Batch vs Streaming
📌   ETL разработчик vs Data Engineer

https://www.youtube.com/watch?v=3IRU-E_BnYc

Предложили идею для вебинара. Я не смогу рассказать про отечественный setup и цены, но вижу, что вопросы очень правильные. Возможно сделать комлексный вебинар, где 2-3 человека расскажут про кейсы и ответят подробно на вопросы.  Пишите в комментах, если хотите выступить у нас на вебинаре по такой теме.

Свежий пост про сертификацию. Звучит мощно "лучший сертификат для Data Science". Я его сдавал на конференции Enterprise Data World, но он совсем не про Data Science, он про Data Management и тоже бесполезный, зато они баксов 100 с меня взяли за экзамен🤗

Всем привет, новый вебинар от Романа:

Короче Друзья!
Тут такое дело, DataLearn просто намбер ван!
Просили спикера из России, вы конечно же, ну а мы что - берите, наслаждайтесь!
Завтра вебинар по питону, а если точнее. то тема вебинара:
"PYTHON для работы с данными".
Любителей посмотреть "потом" прошу быть, так как если вебинар сложится, то для вас будет потом целый курс по питону от этого спикера.
Имя учителя - Дмитрий Беляев
О спикере:
2014 HSE BSc Economics and Finance
2020 HSE MSc Data-driven Communications
В ДС в маркетинге ~ 2года
Senior Data Scientist - Sber, ранее работал в Omnicom, Publicis.
Для тех, кто думает, что не дорос до питона - комон гайз мы же DataLearn.
На заметку - ничего страшного если не закончили 3-й модуль, это питону не мешает :slightly_smiling_face:
Во сколько движ:
В 14:00 (мск) 07.11.2020 в прямом эфире на нашем ютубе - да, знаем, что суббота, но за бесплатно можно и подвинуть свои планы.
Всех ждем.
Обязательно подписаться на наш ютуб и нажать колоколчик.
Вперед ребята! Обнял всех вас
https://youtu.be/gDd4WFiXjj0https://youtu.be/gDd4WFiXjj0

Когда забыл проверить источник данных своего отчета 😂

Автоматизация в Python для Data Engineering с использованием библиотеки Python Prefect. Можно даже позиционировать как замену или дополнение Airflow.

Ну и традиционный вопрос, кто-то использовал?

Если кто-то захочет производить качественный видеоконтент, например для видеокурсов, то вот очень круто расписано, как можно собрать студию.  У #datalearn пока бюджетный вариант на Pixel 3xl + external mic.

Буду выступать на крупнейшей Data Science конференции в Восточной Европе, где расскажу про взаимодействие команд, создании современных аналитических решений в облаке и ML решениях.

Отличный способ удивить коллег, нарисовать портрет в Табло. Все очень просто - с помощью кода можно обработать фотографию и записать координаты каждого пикселя и потом визуализировать в Табло. Пример в этом блоге.