Size: a a a

Инжиниринг Данных

2021 May 02
Инжиниринг Данных
источник
2021 May 03
Инжиниринг Данных
12 мая LinkedIn будет проводит Big Data event. https://thelinkedinbigdatasummit.splashthat.com/
источник
Инжиниринг Данных
Как поговаривал мой любимый Остап Бендер в 12-ти стульев - «Лёд тронулся, господа присяжные заседатели!». Ваше вниманию представляю видео ВВЕДЕНИЕ В ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ (CLOUD COMPUTING):

📌   Несколько кейсов из прошлого
📌   История зарождения облачных вычислений и идеи utility computing
📌   Ключевые бизнес драйверы и риски
📌   Определения, терминология и характеристики облачных вычислений
📌   Основные компоненты облачных вычислений и датаценров

Так же на лабораторной работе я рассмотрел:
📌   Free trial account AWS и Azure
📌   AWS Virtual Private Cloud, Subnets, Security Groups - (виртуальная сеть, с этого начинается любой проект в облаке).
📌   Создали виртуальную машину EC2 и подключились к ней через протокол SSH с использование командной строки и ключа

В нашем учебнике на git DE-101 я добавлю все ссылки на документы и полезные YouTube видео.

На следующем уроке мы будем рассматривать Cloud Deployment Models и Cloud Delivery Models, а на лабораторной работе скачаем AWS CLI, чтобы управлять ресурсами через AWS API с локальной машины. Запустим web server и подключим его к Load Balancer.
источник
Инжиниринг Данных
Роман закончил landing для курса Анатолия по SQL. Сам landing это уже произведение искусства, а материалы курса бесценны для начинающих.  Теперь вы можете зарегистрироваться и порекомендовать его в соц сетях.

Анатолий сделал настолько крутой курс, что нас завали позитивным фидбеком.

Как жалко, что такого курса не существовало 10 лет назад, когда я пытался учить SQL.

У Анатолия талант рассказывать сложные вещи простым языком, а его поддержка в нашем slack, выше всяких похвал.
источник
2021 May 04
Инжиниринг Данных
Сейчас огромное количество курсов онлайн. Есть западные и отечественные. Единственный отечественный, который я могу посоветовать это stepik (про datalearn не буду писать ничего пока😎), но вы и сами знаете. Остальные коммерческие платформы это серьезный бизнес, в котором маркетинг привлечения студентов очень хорошо развит. А вот про западные, я могу рассказать, которыми я пользовался:
1. Это кончено Coursera. Изначально там были курсы от университетов, очень высокого качества и все можно было изучать бесплатно. Сейчас курсера стала очень сложной и похожа на барахолку, там уже могут добавлять курсы организации, маленькие компании и никому неизвестные университеты. Если поискать можно найти много интересного. Из русских курсов мне очень понравился курс МФТИ про Python и анализ данных.
2. Edx - это аналог курсеры. Раньше там были эксклюзивные курсы Microsoft, был 1й курс по Apache Spark. Сейчас стало много всего.
3. Khan Academy - это больше для школьной или университетской программы. Я не использовал.
4. Cloudguru (приобрел linux academy) - много хороших ресурсов для подготовки к сертификации по cloud.
5. Pluralsight (у меня теперь бесплатный доступ) - это как премиум udemy, у них много своих курсов, приятных интерфейс, но все курсы, которые я посмотрел по Microsoft, Azure, Databricks и Emotional Intelligence как “вода”.
6. Udemy - там есть все. Из-за этого практически не возможно найти ничего. Проходил там курс подготовки к Табло сертификации. Нужны личные рекомендации, чтобы найти, что-то дельное.
7. O’Reilly - доступ ко всем книгам (для меня книги оказались самым качественным инструментом изучения материала), можно читать и сразу выполнять задания в своем темпе. Есть так же и видео записи некоторых предметов.
8. Linkedin Learning (тоже бесплатный доступ) - классный интерфейс и говорят красиво, но часто льют воду. Я бы не стал покупать подписку там. Я там смотрел много курсов, и из 20, только один был отличный - Microsoft Integration Service, потому что было много практических примеров.
9. LeetCode -отличное место подтянуть Coding для интервью, сам там учил Python для Facebook собеседований и решил 3 задачи из 5 за 15 минут. Остался доволен результатом.
10. DataCamp (скинули в комментах) - много про него у нас в slack говорят, значит хороший ресурс для R, Python, SQL.

Есть еще западные платформы? Пишите в комментариях и ваши отзывы.

Главная проблема сейчас, точнее целых две проблемы:
1 - это изобилие ресурсов. Все овладели маркетинговыми навыками и внешне курсы выглядят одинаково хорошо. Но мы поймем не сразу, что это лажа, а время уже потрачено и денежка уплачена.
2 - еще более опасное, непонятно, что учить, что читать. Существует бездна подготовительных материалов, курсов, но совершенно непонятно, в какой последовательности, что учить, как применять на практики, и самое главное, как потом найти работу! Я бы вообще запретил бы продавать курсы дороже 5-10т рублей, при отсутствии 100% гарантии трудоустройства.
источник
Инжиниринг Данных
Всем привет!

Полезная информация для тех, кто изучает SQL.

Как вы знаете, у нас уже есть замечательный курс по SQL, который разрабатывает Анатолий Балакирев. Курс рассчитан на тех, кто ранее никогда не работал с базами данных. Построен курс вокруг таких СУБД, как PostgreSQL и MS SQL.

Хочу представить вам еще один интересный ресурс - курс по SQL от Максима Кухарь. Ссылка на группу в Телеграм: https://t.me/joinchat/S7wsOOByOEQ0MmIy

Курс также ориентирован на начинающих пользователей SQL, разбираются самые основы. Главное отличие представленного курса - здесь в качестве основной СУБД используется Oracle, довольно-таки популярная и часто используемая система управления базами данных в России.

Формат обучения - смотрите бесплатные обучающие видео в рамках курса, пробуете повторить. Если возникают какие-либо вопросы в процессе, уточняете в группе. К слову, группа живая, активная. Поддержка в группе очень дружелюбная.

На текущий момент в рамках данного обучения уже есть завершенный блок видео на тему "Базовый курс по SQL для аналитиков и менеджеров" (24 урока с домашними заданиями). Сейчас в процессе публикация обучающих видео на тему "Расширенные возможности SQL" (10 опубликованных видео уже есть, новые видео добавляются каждую неделю).

Если тема Oracle SQL вам интересна, присоединяйтесь: https://t.me/joinchat/S7wsOOByOEQ0MmIy

PS автор поддержал #vsevsevmeste!
источник
Инжиниринг Данных
источник
2021 May 05
Инжиниринг Данных
Signal купил у Facebook баннеры для таргетинга и показывал на них параметры, получилось классно https://signal.org/blog/the-instagram-ads-you-will-never-see/
источник
Инжиниринг Данных
Для лабораторной работу модуля 5.2 я просил создать в AWS виртуальную сеть, subnets, security groups и EC2. Мне нужен доброволец, кто сможет задокументировать lab guide для AWS. У меня есть описание на английском, нужно будет повторить шаги и сделать printscreen и написать на русском, чтобы я мог в git закинуть, ну и нарисовать свежую диаграмму в draw.io. Я подскажу если, что.  Приложил картинку.

Так же будут другие лабы по облаку связанные с Redshift, EMR, Networking, Azure и тд. Нужна ваша помощь в оформлении guide для лабораторных.

Зато точно разберетесь в вопросе.
источник
2021 May 06
Инжиниринг Данных
Прошли курсы #datalearn с модуля 1 по 4 или любой из них? А может быть заканчиваете курс по SQL или DS&ML? Не забудьте себе выбрать сертификат от Data Learn на Linkedin! 🤫
источник
Инжиниринг Данных
Урок 5.3 готов - Концепции и Модели Облачных вычислений (в принципе это 80%, что надо знать по теории облачных вычислений)

Согласно National Institute of Standards and Technology (NIST) можно выделить несколько типов облачных сервис моделей и тип самого облако. В этом видео мы рассмотрим:
📌   Облачные Сервис Модели IaaS, Paas, Saas
📌   Cloud Stack
📌   Cloud Deployments Models - Public, Private, Hybrid и Community
📌   Рост популярности облачных вычисления
📌   Рост доли рынка основных вендоров

На лабораторной работе я покажу:
📌   AWS QuickStart
📌  AWS Load Balancer
📌   Рассмотрим основные команды для Bash/Shell (командной строки, которые необходимы для работы специалиста с данными)
📌   Инфраструктура as Код на пример AWS CloudFormation и Azure ARM templates
📌   Посмотрим на billing (стоимость владения по факту) и на AWS Budgets, AWS Calculator
📌   Так же посмотрим на Azure Calculator

В видео я упомянул AWS CLI, но забыл вам показать покажу в следующей лабе.

Так же мы готовим для вас качественные лабораторные работы с подробной информацией на русском. (см. пост выше, где я попросил помочь с созданием русского язычного контента, и процесс пошел!) Таким образом курс пойдет быстрей. Мне не хватает времени на детализированные лабы и я рад, что нашлись добровольцы, кто хочет разобраться в теме и готов задокументировать все в Markdown и Git.
источник
2021 May 07
Инжиниринг Данных
Еще один классный фибдек, лишний раз доказывает, что мы на правильном пути и охват у нас глобальный.

Дмитрий здравствуйте. Читал раздел про ребят которым Вы помогли сменить профессию. Я хотел написать свою историю, может Вам будет интересно.
Мы с семьей живем в Чикаго. Последние 7 лет я занимаюсь логистикой и как только началась пандемия почти не потерял всё. Уже был в адвокатов на счёт банкротства и думал что придётся возвращаться в Украину на какое-то время. И как всегда не бывает худа без добра,) Я познакомился с человеком который занимается датой. И за столько лет я увидел, то чем хотел заниматься не ради денег и потому что надо. Она мне показала что есть такие платформы как Udemy, edex .

Дело в том что для меня понятие учеба это как выучится на доктора, где нужно учиться 6 лет и 70 к. А это всё здесь, но материала на столько много, что можно читать и учить всю жизнь жизнь , но результатом это будет не больше чем хобби. Даже не говорю за цены на coding bootcamp здесь, которые сейчас от 14-20 к, но пойти в универ учится действительно уже не вариант.

Потом случайно нашёл Skillfactory. Спасибо SF за то что познакомился Анатолия, а Анатолию что привёл меня сюда и за его ответы по Sql. Это нужно скрин сделать. Когда первый раз спрашиваешь почему так, второй почему - этого нет в учебных материалах,) У вас есть просто все что я искал. На сколько важен cloud, в всех офферах это требуется.

Я получил сертификат azure fundament az-900, но опять же где взять практику по этому. Интересно ещё то что именно data engineering никто не преподаёт. У всех топ bootcamps есть data analytics, science, software engineering но никто из них не преподаёт data engineering. Со всего что я нашёл есть курс на udacity de, springboard bootcamp и вы,)
Просто спасибо за то что Вы ребята делаете . Это очень круто, я понимаю теперь когда есть семя, работа, а здесь это ведь культ работы,) найти время на такие крутые проекты многого стоит. Надеюсь что получится сменить здесь профессию, с вашим опытом и моим трудолюбием и думаю я не один такой.

Спасибо
источник
Инжиниринг Данных
Может кто знает, скинь информацию по законодательству хранения персональных данных в РФ, Казахстане, Украине и Белоруссии. Желательно в 2х словах сказать, чтобы я добавил это в след урок про безопасность и compliance. Часто это является преградой к использованию западных облаков и какие есть варианты если очень хочется использовать.
источник
Инжиниринг Данных
2007 год…))
источник
Инжиниринг Данных
Вот и книжку уже пишут про #datamesh. Как уже обсуждалось это про большие enterprises у которых много команд, много решений, вендоров и пользователей.
источник
2021 May 09
Инжиниринг Данных
Концепт из Амазона - One-way/Two-way decision. Когда я работал в Бостоне в Alexa, все продукт менеджеры сыпали разными амазоновскими терминами. Я так часто слышал про эти “двери”, но не успевал понять, что же они имеют ввиду. В общем дошло не сразу.🤪

Идея простая, и возможно есть аналогия на русском. Очень часто мы тратим много времени на принятие решения. Но если, решение можно отменить легко и с минимальными последствиями (two way door), то и думать не надо, решаем сразу и вперед. Если, что-то изменилось в будущем, делаем по другому - это эффективней, чем ждать, собирать митинги и гадать.

А вот если решение очень серьезное и его невозможно будет откатить, то тут уж потратьте время на его обсуждение и принятие.

🚪One-way door decisions are decisions that you can't easily reverse. These decisions need to be done carefully.  
🚪Two-way door decisions can be reversed.  You can walk through the door, see if you like it, and if not go back.  These decisions can be made fast or even automated.
источник
2021 May 10
Инжиниринг Данных
Кто-нибудь заморачиваться по Emotional Intelligence?
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Очень важные новости💯
У Azure новая иконка))
источник
Инжиниринг Данных
В апреле Excel анонсировал Office Scripts. Теперь можно ещё больше автоматизировать в Экселе.https://techcommunity.microsoft.com/t5/excel-blog/ready-player-zero/ba-p/2246208
источник