Size: a a a

Инжиниринг Данных

2018 November 06
Инжиниринг Данных
Всем привет, я создал канал, в котором в будущем планирую шарить интересные новости о Data Engineering, Business Intelligence, ETL/ELT, Big Data, Data Lake, Data Warehouse и т.п. А пока сюда просто размещу материалыны необходимые для тренинга для Матемаркетинг2018.
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Matemarketing Workshop - слайды воркшопа и упражнения
источник
Инжиниринг Данных
Workshop Materials - Скрипт SQL, данные, Tableau формулы, ODBC драйвер для БД Snowflake и SnowSQL (CLI для тех кто хочет его использовать)
источник
Инжиниринг Данных
источник
2018 November 08
Инжиниринг Данных
CREATE TABLE MATEMARKETING_DB.SALES.sales_<YOURNAME>  (
 row_id integer,
 order_id varchar(50),
 order_date date,
 ship_date date,
 ship_mode varchar(50),
 customer_id varchar(50),
 customer_name varchar(50),
 segment varchar(50),
 country varchar(50),
 city varchar(100),
 state varchar(100),
 postal_code integer,
 region varchar(50),
 product_id varchar(50),
 category varchar(50),
 sub_category varchar(50),
 product_name varchar(200),
 sales numeric(10,4),
 quantity integer,
 discount numeric(5,2),
 profit numeric(10,4)
);
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Вот мой ник если что
источник
Инжиниринг Данных
dimoobraznii
источник
2018 November 09
Инжиниринг Данных
Презентация в Power Point
источник
Инжиниринг Данных
источник
Инжиниринг Данных
Всем привет! Меня зовут Дмитрий Аношин и я работаю в Amazon в роли Data Engineer с 2016 года, я всегда стараюсь развиваться в области BI/DW и поэтому через меня проходит много контента, рад поделиться контентом и опытом. Спасибо, что подписались, здесь я смогу делать следующие вещи:
1)Шарить новости из мира BI/DW/Big Data и тп, так как все время что-нибудь читаю, чтобы не отставать от рынка + могу на русском переводить (теоретически)
2)(В Амазон я управляют BI Community - BI Tech Talks, сейчас там больше 100 комманд BI из Амазон по всему миру, и я провожу онлайн ивенты через Amazon Chime - 1 час презентация. Обычно внутренние команды делятся опытом, что очень трудно сделать, у всех нет времени, или я нахожу профессионалов в LinkedIn и прошу сделать презентацию про их любимую тему, как правило все соглашаются, поэтому сюда я буду заливать Видео+Презентацию с этих мероприятий. Если вы хотите кого-то услышать, напишите мне, я напишу ему, попрошу провести ивент
3)Могу рассказывать про возможности работы за границей, я на этом "собаку съел", я отвлекался на вакансии с 2010 года по всему миру через indeed.com, поэтому есть информация в целом как чего и куда + есть знакомые кто работают за границей в этой области
4)Могу рассказать про резюме, я стал мастером COPY/PASTE и перепробовал разные варианты + cover letter (но не как у всех, а презентация через power point в slideshare, у которой есть пиксель и я могу смотреть активность работодателя и его engagment с моей кандидатурой:)
5)Могу писать про книжки, которые косвенно относятся к BI/DW
6)Могу писать про то как написать книжку, даже если вы не знаете технологию достаточно
7)Могу писать про английский, как его учить для работы
8)Есть еще одна очень интерсная область, я сделать 6-7 друзей BI developer, один из них даже в Ванкувере, до этого он работал там на стройке. Все эти товарищи не знали про BI и что это такое, но я им гаранитированно помог найти работу, но они впахивали 4-6 месяцев чтобы подтянуть знания, один раз это не помогло, и я проходил собеседование за парня из Омска по Skype в Московскую компанию и все получилось, у меня был спортивный интерес, как можно обойти систему:)
Наверно можно много всего, посмотрим как пойдет. Получается интересно, когда я был в России, я писал на английском, а теперь в Канаде, я пишу на русском=) По всем вопросам пишите в Телеграм @dimoobraznii или https://www.linkedin.com/in/dmitryanoshin/.
источник
Инжиниринг Данных
Если вы все еще пройти лабу по Snowflake + Tableau, то вперед, ресурсы все еще доступны. PS Snowflake это cloud DW (как Redshift, BigQuery) но круче, или это на меня так подействовали их маркетинг.
источник
Инжиниринг Данных
PS приглашайте друзей!
источник
Инжиниринг Данных
источник
2018 November 10
Инжиниринг Данных
Лично я всегда люблю White Papers от вендоров. Там часто много маркетинга, но также бывает много полезной информации, которую можно использовать как для общего понимания технологий, тренда на рынке, так и для своих презентация. Вот например, Snowflake White Paper - The Past, Present and Future of DW. How understanding four decades of technology evolution can help you choose the right solution today (Прошлое, настоящее и будущее технолоний хранилищ данных. Как понимание эволюции технологий (баз данных и хранилищ данных) в течение последний 40 лет, помогут выбрать современное решение (хранилище данных). Понятное дело, тут расписано какой, классный Snowflake (он и правда классный), но так же здесь есть история развития технологий для хранилищ данных + требования к современным системам хранилищ данных.
источник
Инжиниринг Данных
Публиковать интересные White Paper или нет?
источник
Инжиниринг Данных
Отдельно хочу отметить про знание английского языка. Теоретически я могу переводить, но это будет занимать дополнительное время. Если посмотреть на это задачу с другой стороны, то английский язык MUST HAVE, так как все мы работаем с западными компаниями, где документация или интерфейс на английском. Из плюсов, когда вы разберетесь в терминологии, то все будет намного проще. Если вы не знаете языка, то надо начинать учить, без него будет сложно пробиться. Я планирую написать несколько вводных постов.

1й будет про основные термины по работк с данными (BI, DW и тп) и объясню их простыми словами. Там нет ничего сложного, сложное есть в Machine Learning, так как нужно знать математику.

Про профессии я тоже напишу. Краткий ответ ML это круто, и можно за 2 года (мое мнение) хорошо разобраться в этом и прокачать математику, но нужен реальный опыт, учить в вакуме это не то. Я уверен, что по ML куча специалистов, которые расскажут как лучше прокачаться в этой области.

2й пост напишу про английский язык, как его подучить и про то как я себя изматывал с очень низким КПД

3й пост я напишу про ресурсу, где можно учиться

А там как пойдет. Все что я пишу, это не значит, что это правильно или это единственный вариант развития событий. Я верю, что не бывает людей, которые не правы, просто у кого-то занимает больше время, чтобы получить тот-же результат. Главное это конечная цель и мотивация (хотя как пишет Harvard Business Review телеграмм канал) она не работает, нужна дисциплина.
источник