Size: a a a

Инжиниринг Данных

2019 August 11
Инжиниринг Данных
Фоточка из Бостона. Кстати немножко не в тему, я перешёл с iPhone на Google pixel 3xl. Телефон очень понравился, много полезный фич, которых нет у Айфона, а главное я купил его на Amazon renewed (только в штатах) новый со скидкой 50%. Так что если вы заказываете что-то из Америки то это отличный вариант сыкономить на технике и аксессуарах
источник
2019 August 12
Инжиниринг Данных
Вот и Forbes пишет, что без аналитике нынче никуда. В своей свежей статье они вам расскажут аж про 5 способов, как аналитика поможет бизнесу. Сейчас все просто, вам нужны инструменты для аналитики, люди, которые смогут работать с этими инструментами (могут быть и разработчики, аналитики и просто бизнес пользователи) и, конечно, вам необходимо понимать взаимоотношения данных и бизнес процессов, а то будет как в пословице - смотрю в дашборд, а вижу фигу;)
источник
2019 August 13
Инжиниринг Данных
Учите  Azure? Пользователь Reddit подготовил список ресурсов для подготовки к экзамену https://www.reddit.com/r/AZURE/comments/cp70ux/az103_lab_study_guide/
источник
Инжиниринг Данных
Любите делать аналитику в Google Sheets? (Главное не спутать с shit) то для вас обновочки https://www.androidpolice.com/2019/08/01/google-sheets-introduces-slicers-scorecards-and-themes-for-more-effective-data-visualization/
источник
Инжиниринг Данных
Почему бы вам не попробовать создать озеро данных на AWS? Лучший способ понять, что это такое, это попробовать повторить шаги из блога AWS. В данном случае используется cloud formation, это такой шаблон создания инфраструктуры. Если вам нужно копировать инфраструктуру и ее настройки, то вы можете один раз создать шаблон со всеми параметрами и использовать его, это очень экономит время.
источник
Инжиниринг Данных
Если вы следите за трендами аналитики, то вы уже слышали про Snowflake. Обычно все его хвалят, а вот оказывается не все. В любом случае у вас есть 30 дней, чтобы бесплатно попробовать. Ещё я заметил много компаний мигрирует не просто в облако, но уже начинают внутри облака менять продукты. Очень популярно с Redshift на Snowflake. Говорят дешевле получается. Или возможно не хватает инженеров поддерживать разросшийся кластер Redshift.
источник
Инжиниринг Данных
Мы слышали, что data scientist зарабатывает больше всех. Вот и в новостях пишут TechRepublic: Data scientists: Earn the highest salary in these 5 cities.
https://www.techrepublic.com/article/data-scientists-earn-the-highest-salary-in-these-5-cities/ Но 127к в год в Америке, это конечно хорошо, но мы заплатим 50% налогов и останется не так много денег. А в городах, где платят такую зарплату, рент будет стоить 2-3к. А если у вас ещё семья, дети, то уже будете жить еле сводя концы с концами.

Другой момент, что такая зарплата и у BI, DWH, Data Engineers. По сути это новости искажены и далеки от реальности. Возможно бог экселя будет зарабатывать намного больше.

Кстати я узнал, что в Амазоне старшый дата инженер может зарабатывать до 400к в год (вместо со стоком).

Но проблема в корпоративной полиси, если вас взяли на 90к, то ваш рост не более 5% в год.
источник
2019 August 14
Инжиниринг Данных
Любите удивлять коллег необычными графиками? Bar/line графики для слабаков? Вот вам график улитка. Будьте первым, удивите ваших коллег вашей креативностью!;)
источник
Инжиниринг Данных
Вы знакомы с термином ACID в теории биз данных? Он описывает требования к транзакционной системе (например, к СУБД), обеспечивающие наиболее надёжную и предсказуемую её работу. Требования ACID были в основном сформулированы в конце 70-х годов Джимом Греем.

Расшифровывается:
Atomicity — Атомарность
Атомарность гарантирует, что никакая транзакция не будет зафиксирована в системе частично. Будут либо выполнены все её подоперации, либо не выполнено ни одной. Поскольку на практике невозможно одновременно и атомарно выполнить всю последовательность операций внутри транзакции, вводится понятие «отката» (rollback): если транзакцию не удаётся полностью завершить, результаты всех её до сих пор произведённых действий будут отменены и система вернётся во «внешне исходное» состояние — со стороны будет казаться, что транзакции и не было.

Consistency — Согласованность
Транзакция, достигающая своего нормального завершения (EOT — end of transaction, завершение транзакции) и, тем самым, фиксирующая свои результаты, сохраняет согласованность базы данных. Другими словами, каждая успешная транзакция по определению фиксирует только допустимые результаты. Это условие является необходимым для поддержки четвёртого свойства.

Isolation — Изолированность
Во время выполнения транзакции параллельные транзакции не должны оказывать влияния на её результат. Изолированность — требование дорогое, поэтому в реальных БД существуют режимы, не полностью изолирующие транзакцию (уровни изолированности Repeatable Read и ниже).

Durability — Долговечность
Независимо от проблем на нижних уровнях (к примеру, обесточивание системы или сбои в оборудовании) изменения, сделанные успешно завершённой транзакцией, должны остаться сохранёнными после возвращения системы в работу. Другими словами, если пользователь получил подтверждение от системы, что транзакция выполнена, он может быть уверен, что сделанные им изменения не будут отменены из-за какого-либо сбоя.

А статья на медиум с примерами для Oracle/Postgres.
источник
Инжиниринг Данных
Кстати, согласно новостям Oracle doing great, то есть вроде как мы его уже не жалуем для хранилищ данных, но это возможно всего лишь мой когнитивный баис, и компанию чувствует себя прекрасно.
источник
Инжиниринг Данных
Про NULL в базе данных
источник
Инжиниринг Данных
еще одна смешная история. Я все склонялся к тому, что статья не очень по теме канала, но мне её столько раз прислали уже, что, видимо, я все-таки ошибаюсь (никогда такого не было, и вот опять!). Короче, статья о том, как чувак в Калифорнии зарегистрировал себе автомобильный номер NULL, возможно, надеясь, что это уменьшит количество штрафов, которые он будет получать. (ну и номер прикольный, да). Но оказалось, что штрафы в Калифорнии для их местного ГАИ выписывает коммерческий подрядчик, у которого в системе все было гораздо проще: если номер не распознался или отсутствует, в базу записывается NULL. Поэтому чуваку пришли все такие штрафы, на 12 тыс долларов. Хорошо.
https://www.wired.com/story/null-license-plate-landed-one-hacker-ticket-hell/
источник
2019 August 15
Инжиниринг Данных
Интересны блогпост от убера. Уже очевидно, что с облаком можно масштабировать вычислительные мощности и сторадж бесконечно, но теперь крупные потребители начинают задумываться о цене на владения облаком и придумывают способы оптимизации затрат. На помощь приходит ML/AI, которы помогает оптимизировать затраты.

И действительно, в алексе сейчас большой проект по снижение затрат на облачные вычисления и там цели сотни млн долларов. Даже я уже подумываю о том, чтобы сделать отчёт в табло про стоимость владения нашей инфраструктурой и отслеживания ресурсов типа ,Spectrum/Athena, где вы платите за то, что используете.
источник
Инжиниринг Данных
Вышла новая книга для любителей PowerBI, https://www.sqlbi.com/books/the-definitive-guide-to-dax-2nd-edition/
источник
Инжиниринг Данных
Я уже писал про важность безопасности при создании солюшена в облаке. Новый white paper.
источник
2019 August 16
Инжиниринг Данных
Ещё одна компания по интеграции данных, уже получили 3й раунд инвестиций. Я про них не слышал, говорят, что создана выходцами из Oracle, как и сноуфлейк.https://techcrunch.com/2019/08/15/incorta-raises-30m-series-c-for-etl-free-data-processing-solution/
источник
Инжиниринг Данных
Приходилось ли вам делать дашборды для мобильного телефона? Вот статья у табло учит нас как лучше это сделать.

Я уже больше 10 лет работаю с BI, и всегда хотел построить дашборд, чтобы менеджеры меня по головке погладили и сказали, ну какой же я молодец, подумал о них и сделал превосходный отчёт для телефона, они же жить без метрик не могут.

Так я всегда скачивал мобильную версию SAP Business objects, MicroStrategy, Tableau, Power BI и ТП. Но ни разу так и не сделал ничего путного и полезного. Обычно все упиралось в вопрос, а как доступ давать? VPN или ещё как-то, а что скажет служба безопасности и ИТ? Или куча других важных вещей. Поэтому я не фанат этих мобильных прибамбасов для аналитики.
источник
2019 August 17
Инжиниринг Данных
Оказывается Cloudera вместе с IBM предлагают свое решение для озера данных и их сравнивают с Amazon Elastic Map Reduce (Hadoop). Логично если вы в облаке, то удобней использовать решение от того провайдера, услугами которого вы пользуетесь. Меня одно радует во всей это BigData всё движется к упрощению процесса развертывания. Быстрее развернули решение, быстрее получили результат и не надо париться с настройкой хадупа. Хотя, джава программисты, которые не плохо на этом зарабатывают со мной не согласиться.
источник
Инжиниринг Данных
Оракл сократил 300 человек, направление, которое занималось создание on-premise решением. Когда-то Лари (босс Оракл) говорил,. Что все это фигня ваше облако. А теперь все ресурсы направлены на создание облачной инфраструктуры.
источник
Инжиниринг Данных
И напоследок опять про Snowflake, о том как он забирает бизнес у всех конкурентов и растет с дикой скоростью. У нас в Канаде пока все на шкафах как на картинке выше, но я создал уже митап по Snowflake User Group в Ванкувере. Пока 23 человека записалось. В Бостоне тут было 500!
источник