Статья о том, что Metaverse у Цукенберга всего лишь инструмент зарабатывания денег и новый уровень персонализации и рекламы.

But despite the changed name, Meta remains as Facebook-y as ever. Zuckerberg’s company pioneered the art of collecting data and using it to algorithmically capture our attention for profit regardless of the social cost. If the metaverse really is a thing and not just another bizarre Silicon Valley pipe dream, Meta seems intent on making this new reality just as shitty as the old one.

Не пропустите бесплатный день обучения работе с ИИ от Microsoft!
9 ноября, 11.00–14.40 (по Москве), присоединяйтесь к бесплатному вебинару  «Microsoft Azure Virtual Training Day: основы ИИ».  

За несколько часов специалисты Microsoft расскажут об основных концепциях и областях применения ИИ.
👉Вы подробнее узнаете о разговорном ИИ, обработке естественного языка и компьютерном зрении в Microsoft Azure. Научитесь создавать прогнозные модели без написания программного кода с сервисом машинного обучения.

После вебинара вы сможете бесплатно сдать экзамен по основам Microsoft Azure AI и получить сертификат.

Регистрируйтесь уже сейчас!

PS Пост поддержал приют для собак Зоорассвет в Москве.

Мы все про технические навыки, но часто не хватает soft skills, вот Dale Carnegie нам поможет

В datalearn опросе есть вопрос: Ваш пол? (мы хотим знать сколько девушек в профессии). Пирожок показывает соотношение 5000т откликов опроса, где:
М - синее
Ж - красное

Но есть еще варианты, вам на заметку:

Чем аналитика для женщин отличае…
Военный вертолёт Apache
Я Ж, но идея странная. Смысл?
У них/нас разве другие мозги?
Боевой вертолет Ми-28Н
Я избегаю оценочных суждений
Я Ж, но идея странная, зачем?
Женский, но не вижу смысла раздел…
Мне кажется супер странной идеей
Мужчина
Пёс
М, но хотел бы активно помогать ра…
простите еще раз, эту запись нужно…
Пони
Prefer not to say
Женский, но сразу уточню, что не заинтересована в идее "Analytics for Women" и предпочла бы не иметь отношения к Women in data community.
test
чёрный атакующий вертолёт
Это не имеет значения. Я человек.

https://medium.com/@mrtrustworthy/from-data-driven-to-driving-data-the-dysfunctions-of-data-engineering-34c34496ed8e

Статью прям можно на цитаты разбирать)

Кто нибудь хочет перевести?

Стащил из Facebook, после общения с поддержкой в Timeweb хостинге можно и чаевые оставить🤑 Можно скоро брать чаевые за создание дашборда или фикс ETL

На O'Reilly появилась первая книга по теме Data Quality. Рано радуемся, оффициально выйдет в сентябре 2022.

Do your product dashboards look funky? Are your quarterly reports stale? Is the dataset you're using broken or just plain wrong? These problems affect almost every team, yet they're usually addressed on an ad hoc basis and in a reactive manner. If you answered yes to any of the questions above, this book is for you.

Many data engineering teams today face the "good pipelines, bad data" problem. It doesn't matter how advanced your data infrastructure is if the data you're piping is bad. In this book, Barr Moses, Lior Gavish, and Molly Vorwerck from the data reliability company Monte Carlo explain how to tackle data quality and trust at scale by leveraging best practices and technologies used by some of the world's most innovative companies.

Есть ещё какие-нибудь известные ресурсы по этой теме?

Вот это технологии, пилим big data в Databricks на маленьком iPad, мышка и клава работают.

Когда очень много данных, в данном случае Pbты, то можно использовать ML, чтобы прогнозировать потребности в computing и запускать необходимые мощности, таким образом и пользователи не получат дискомфорт и ценник за использование будет оптимальный.

Наше сообщество “Women In Data Analysis”  выпустило новое интервью с главой отдела продаж и развития бизнеса компании SqlDbm - Анной Абрамовой.

Беседа об аналитике, женщинах в IT, необходимых компетенциях и многом другом. Сообщество курируют Яна Конн и Яна Одинцова.
Интервью провела куратор сообщества “Women In Data Analysis” Яна Одинцова. Если у вас остались вопросы, есть идеи или вы хотели бы узнать больше о сообществе, обращайтесь к Яне.
yana.odintsov@gmail.com
yana.odintsov@gmail.com

Так же у сообщества есть свой закрытый slack канал. Больше информации тут.тут.

PS Знаете ли вы, что во 2м модуле нашего курса мы используем SqlDbm для создания физической модели схемы звезды для данных Super Store в качестве лабораторной работы. Интересно, Анна знала или нет))

В этом этом  видео физик Richard Feynman учит нас научным методам.

In this short video taken from his lectures, Physicist Richard Feynman offers perhaps one of the greatest definitions of science and the scientific method that I’ve ever heard. And he does it in about a minute.

“Now I’m going to discuss how we would look for a new law. In general, we look for a new law by the following process. First, we guess it (audience laughter), no, don’t laugh, that’s the truth. Then we compute the consequences of the guess, to see what, if this is right, if this law we guess is right, to see what it would imply and then we compare the computation results to nature or we say compare to experiment or experience, compare it directly with observations to see if it works.

If it disagrees with experiment, it’s wrong. In that simple statement is the key to science. It doesn’t make any difference how beautiful your guess is, it doesn’t matter how smart you are who made the guess, or what his name is … If it disagrees with experiment, it’s wrong. That’s all there is to it.First, we guess it (audience laughter), no, don’t laugh, that’s the truth. Then we compute the consequences of the guess, to see what, if this is right, if this law we guess is right, to see what it would imply and then we compare the computation results to nature or we say compare to experiment or experience, compare it directly with observations to see if it works.

If it disagrees with experiment, it’s wrong. In that simple statement is the key to science. It doesn’t make any difference how beautiful your guess is, it doesn’t matter how smart you are who made the guess, or what his name is … If it disagrees with experiment, it’s wrong. That’s all there is to it.”

Все самоубучающие материалы Microsoft в одном месте https://docs.microsoft.com/en-us/learn/browse/

Looker ( облачный BI инструмент, который был куплен Гуглом за очень дорого) каждый год проводит конференцию JOIN, вот и сейчас проходит JOIN2021 где можно увидеть видение и стратегию BI от лукера, да и в целом понять, что нового в индустрии назревает. В этом посте опубликованы некоторые тезисы.

Очень интересная статья про benchmarking от Databricks. Век живи, век учись прям. Оказывается нельзя просто так провести свои тесты и опубликовать результаты, которые покажут слабые стороны вендора. А все потому что некто профессор DeWitt давным давно написал статью какой Оракл плохой, и опубликовал ее. Ларри Элисон конечно расстроился и после этого у всех коммерческих решений по сей день было условие DeWitt, что значит нельзя публиковать самому такие бенчмарки. А вот теперь Датабрикс бросает вызов конкурентам и теперь любой желающий можешь оффициально погонять Датабрикс и опубликовать результаты. Как я понимаю это действительно круто👏

Самое время написать про курсы даталерн если они помогли, ну или про другие курсы которые не помогли или помогли.

Мы собрали уже 250 ответов на опросопрос 🔥🔥🔥

Большое спасибо всем, кто уже принял участие, вы большие молодцы! Огромная просьба к тем, кто еще планирует пройти — отвечать про один конкретный курс, про который вы хотите рассказать.

Мне бы очень хотелось собрать как минимум 500 ответов (а лучше 1000), чтобы выборка респондентов была полноценной, поэтому большая просьба принять участие, если вы обучались на каком-либо платном курсе по аналитике / data science / data engineering и поделиться своими впечатлениями.

По планам на результаты: скорее всего, на выходе будет дашборд с ответами в Tableau Public + презентация с выводами, которую можно прочитать.

Помимо этого, мы хотим сделать некоторый выпуск, где голосом обсудим самые интересные случаи как успешного, так и разочаровавшего образования онлайн.

➡️ Поэтому прошу всех пройти опрос про онлайн-курсыопрос про онлайн-курсы и рассказать про свой опыт 📢📢📢

А коллег-авторов телеграм-каналов снова прошу о репосте, чтобы получить побольше охвата и отзывов о курсах.

Дима привет,
Уже по сложившейся традиции просьба закинуть вакансию в чат😉

В команду Data Management в Novartis 🧬 ищу аналитика данных и дата/ETL инженера.

⚒Уровень: middle-senior
💸Зарплатная вилка: 170-270к gross
🇬🇧Требуется знание английского языка на уровне комфортного ежедневного общения и написания документации

❇️С какими тулами мы работаем: sql, alteryx, qliksense, python, AWS, databrics, snowflake

❇️Чем именно предстоит заниматься:

Data Engineer:
- Участвовать в проекте по разработке datalake (AWS S3 - Databricks - Snowflake)
- Создавать и поддерживать ETL процедуры
- Разрабатывать витрины данных для аналитиков
Подробое описание вакансии

Data Analyst:
- Проводить интервью с пользователями, выявлять их потребности и много cusdev`ить
- Придумывать и разрабатывать новые метрики.
- Создавать очень много аналитической отчетности (Alteryx, Qlik Sense)
Подробое описание вакансии

❗️Вопросы и CV отправляйте в ЛС