Size: a a a

Инжиниринг Данных

2019 October 25
Инжиниринг Данных
Нашел кусочек себя случайно
источник
Инжиниринг Данных
Если вы созрели написать книгу по решениям для аналитики, то я 100 % знаю как это сделать! Вот несколько примеров Getting Started with BigQuery/DataRobot/Alteryx/Azure Data Platform и много другого. У меня есть связи с издательствами и я могу помочь вам составить содержание и написать.
источник
2019 October 27
Инжиниринг Данных
источник
2019 October 28
Инжиниринг Данных
Обязательно в коллекцию колажей
источник
2019 October 30
Инжиниринг Данных
Вы знаете, что такое CRON? Это обычно на linux cистемах, используется для выполнения скриптов по расписанию. В Windows аналог - Windows Task Scheduler.

Пример использования:
-  Tableau Tabcmd скрипт - обновления Tableau Extract и экспорт данных или PDF
- ETL Job (например для Pentaho) - запуск ETL
- Выполнение Python и Shell скрипта и многое другое

Когда работаете с данными, важно стараться минимизировать ручную работу и по возможности все автоматизировать. Самый простой вариант это поставить на расписание простые задачи с помощью Cron или Windows Task Scheduler. А дальше, уже думать, как все это интегрировать вместе.

Хороший помщник по CRON https://crontab.guru/#*_*_*_*
источник
Инжиниринг Данных
Студент в своих апартаментах наклеил “Hire ME”, а напротив была компания NCR, и ему ответили. Может вам так поселиться напротив компании мечты, желательно отдела кадров, и сообщения им передавать🤩
источник
Инжиниринг Данных
Интересные новости из индустрии. Компания Datameer, я про нее ещё читал в 2013/14 году, компанию которая решила принести Hadoop в массы, и использовала его в качестве backend для своего решения. Это была платформа, у который был интерфейс экселя для работы с большими данными. Они получили раунд инвестиций, и решили отказаться от идеи использовать Hadoop, и переключились на Spark. Компании cloudera, Hortonworks, mapR, переживают тяжёлые времена, а тем временем Data bricks (создатели spark), получили 400млн инвестиций. В общем если есть возможность выбирать, что изучать и внедрять, то вы точно знаете, что нужно учить в последнюю очередь. И все курсы по big data и data engineering явно можно считать устаревшими для современного рынка.
источник
Инжиниринг Данных
Как стать Инженером Данных? Миф vs Реальность (Инженером не рождаются, инженером становяться), ну или ML инженером? Или просто поставьте свою профессию😝
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Всегда делюсь своим творчеством🙆‍♂️
источник
2019 October 31
Инжиниринг Данных
Все привет, буду в Москве выступать на этой конференции🥳
источник
Инжиниринг Данных
Вот как раньше делали отчеты
источник
Инжиниринг Данных
А вот в этой книге,  датированной 1919 годом, автор уже рассуждал про работу с данными:"Миллионы долларов ежегодно тратятся на сбор данных". А на фотографии вычислительная машина тех времен, которая могла могла работать с Big Data! (3000 записей в час).
источник
2019 November 01
Инжиниринг Данных
Teradata CEO Oliver Ratzesberger speaks about the 5 Forces that are disrupting industries today. Хорошо выступил.
источник
Инжиниринг Данных
Happy Halloween
источник
Инжиниринг Данных
А это CTO Teradata Stephen Brobst, супер крутой дядька, всегда в гавайских рубашках, легенда, один раз я был на его выступлении в Москве, есть еще порох в пороховницах, если есть возможность посмотрите его свежие выступления, всегда говорит про тренды в индустрии. В общем Терадата активно двинулась в облака, и теперь все желающие могут использовать Teradata Vantage - платформа аналитики, полюбому очень дорого.

Писал я тут в Канаде в Терадату, типа привет, мы тут такие классные, спецы по терадате, но она сказали, что не интересны мы им, да и вообще походу Терадата в Канаде не очень популярна. Но безусловно есть компании, знаю одну лично - компания лотереи в провинции Манитоба “Western Canada Lottery Corporation”, используют Teradata и BI Cognos. А вот компания, WholeFoods, которую приобрел Амазон, тоже на Teradata, но мигрируют на Redshift. В общем так и живем, все куда-то мигрируют, как птицы перелетные.🐔
источник
Инжиниринг Данных
подходит на все случаи жизни
источник
Инжиниринг Данных
The Data Engineering Cookbook
источник
Инжиниринг Данных
- Голосовые помошники и умные колонки сейчас являются самый быстро растущей категорий устройств
- К 2022 году, 70%  белых воротничков будут взаимодействовать к чат платформами
- +50% американцев общались с ботоми и голосовыми помошниками

Сердецем голосового помошника является Natural Language Processing. Natural Language Understanding (NLU) - это постобработка текста после спользования алгоритмов (NLP), которое использует Automatic Speech Recognition (ASR), чтобы выполнить правильное действие (intent). В Википедии, говориться, что первым использовал этот метод Даниэль Бобров в 1964 году в MIT, где писал свою Phd. Кстати Alexa NLU находится в Бостоне, поближе к наукоемким специалистам (MIT, Harward).

А вот Ted Talk, где затронуты интересные вопросы про взаимодействия человека и помощника. В целом 30% всех взаимодоействий, это наезд и издевательство на искуственным интелектом. Не говоря уже про склонение к насилию и другим фантазиям людей))
источник
2019 November 02
Инжиниринг Данных
Отличная история для хэштега #fakeittillyoumakeit
источник