Телеграмм чат группы rockyourdata страница 66

2020 June 12

https://aws.amazon.com/blogs/big-data/how-drop-used-the-amazon-emr-runtime-for-apache-spark-to-halve-costs-and-get-results-5-4-times-faster/

Amazon Web Services

How Drop used the Amazon EMR runtime for Apache Spark to halve costs and get results 5.4 times faster | Amazon Web Services

This post details how we designed and implemented our data lake’s batch ETL pipeline to use Amazon EMR, and the numerous ways we iterated on its architecture to reduce Apache Spark runtimes from hours to minutes and save over 50% on operational costs.

источник

157318:58пожаловаться #2

Инжиниринг Данных

Мне всегда нравился glowbyte, они занимаются настоящим BI/DW, ими офис в штатах и много других классных штук (надеюсь😎). Вот увидел статью про стриминг на Кафка

Хабр

Почему стриминг на KSQL и Kafka Streams — это непросто

Привет, Хабр! Меня зовут Саша, я лид-разработчик в GlowByte Consulting. Мы с командой сделали неплохой стриминговый движок для одного крупного банка. Сейчас в п...

источник

163719:56пожаловаться #3

2020 June 13

Инжиниринг Данных

image_1a2bc4d4-5f87-45fc-835d-8eaf89ccf28d20200612_201715.jpg

(42.19 Кб)

источник

223106:18пожаловаться #4

Инжиниринг Данных

Классная статья про сравнения PowerBI и Tableau. Краткий пересказ: "Tableau -Бла бла бла, PowerBI - Бла Бла Бла. Заключение - кому-то подойдёт Tableau, а кому-то PowerBI". Ниочем. Я бы сказал, короче, нету денег и сидите на Microsoft, берите PowerBI, хотите кайфовать от красивых графиков и получать удовольствие от работы, берите Tableau, конечно если бюджет позволяет. Кстати в 3м модуле datalearn.ru мы будем строить одинаковый дашборд и там и там, и вы сами скажите, что лучше, а что хуже, по другому не узнать.

dzone.com

Tableau vs. Power BI: Difference Between Tableau and Power BI - DZone Big Data

Find out the differences in Tableau and Power BI in terms of Features, Cost, Setup Interface, Connections, Database, and other additional differences.

источник

166406:26пожаловаться #5

2020 June 14

Инжиниринг Данных

Getting machine learning to production
http://veekaybee.github.io/2020/06/09/ml-in-prod/

источник

155601:27пожаловаться #6

Инжиниринг Данных

Новые фичи Snowflake My POV on the new #Snowflake features announced June 2020
https://www.linkedin.com/pulse/my-pov-new-snowflake-features-announced-june-2020-werschkull-

My POV on the new #Snowflake features announced June 2020

Currently, I am working for two different clients that are migrating / building their data pipeline in the 'cloud native' analytical database #Snowflake. A solution that, - when used properly- , can be build to build a 'Modern Datawarehouse' with: one that merges #Datalake and 'classical' #Datawareh

источник

159008:07пожаловаться #7

Инжиниринг Данных

Обожаю Sap Business objects. Последний раз работал с ним в 2014 году, вот попалась информация о новой версии. Кто использует? Как успехи? Последний раз обновление выходило 5 лет назад! Это надо отметить🥂

Sap

SAP BusinessObjects BI 4.3 (SAP BI 4.3) Released! | SAP Blogs

Source: Webi4Me SAP BusinessObjects 4.3 SP00 Released! June 12th, 2020 It has been exactly 4 years, 3 months and 5 days since the previous minor release of SAP BusinessObjects. Time flies… SAP

источник

165608:18пожаловаться #8

Инжиниринг Данных

https://towardsdatascience.com/writing-good-sql-ccb578ff9919

Medium

Writing good SQL

Further structuring the query language by adapting layers

источник

175620:31пожаловаться #9

2020 June 15

Инжиниринг Данных

Новый (а может не новый) Apache Pinot - OLAP движек для аналитики в реальном времени. Кто нибудь пробовал? https://docs.pinot.apache.org/basics/releases/0.4.0

docs.pinot.apache.org

0.4.0

0.4.0 release introduced the theta-sketch based distinct count function, an S3 filesystem plugin, a unified star-tree index implementation, migration from TimeFieldSpec to DateTimeFieldSpec, etc.

источник

164717:45пожаловаться #10

Инжиниринг Данных

Презентация - dataops для современного хранилища данных на Azure

www.slideshare.net

DataOps for the Modern Data Warehouse on Microsoft Azure @ NDCOslo 20…

Talk Description: The Modern Data Warehouse architecture is a response to the emergence of Big Data, Machine Learning and Advanced Analytics. DevOps is a key a…

источник

172918:14пожаловаться #11

2020 June 16

Инжиниринг Данных

Как проверит качество издания? Например CNews? Оказалось просто, они проводят конференции по аналитике, я им предложил рассказать про DataOps, про аналитику, которуб делает Амазон. Они мне сказали, конечно рассказывай, но будет стоить тебе 85т рублей😂 Соответственно, они не могут быть качественным издательством, кто платит, тот и музыку заказывает. А вы что думаете про них?

источник

168220:44пожаловаться #12

2020 June 18

Инжиниринг Данных

https://mathwithbaddrawings.com/2020/06/03/what-graphs-reveal-if-you-give-them-the-time/?utm_source=Hootsuite&utm_medium=Social&utm_campaign=Tableau+Social

Math with Bad Drawings

What Graphs Reveal (If You Give Them Time)

A story isn’t a story if you scream it all at once.

источник

164701:00пожаловаться #13

Инжиниринг Данных

https://blog.getdbt.com/data-testing-framework/

dbt blog

The farm-to-table testing framework: How to improve data quality

A holistic data testing framework to help you catch data quality issues before they impact your stakeholders.

источник

159719:59пожаловаться #14

2020 June 19

Инжиниринг Данных

https://m.youtube.com/watch?v=XpaN-PqSczM

YouTube

Cloud Data Warehouse Benchmark Redshift vs Snowflake vs BigQuery | Fivetran

Get the slides: https://www.datacouncil.ai/talks/cloud-data-warehouse-benchmark-redshift-vs-snowflake-vs-bigquery?utm_source=youtube&utm_medium=social&utm_ca...

источник

157501:24пожаловаться #15

Инжиниринг Данных

Spark 3 никто еще не пробовал? https://medium.com/javarevisited/spark-3-0-new-functions-in-a-nutshell-a929fca93413

Medium

Spark 3.0 — New Functions in a Nutshell

Recently Apache Spark community releases the preview of Spark 3.0 which holds many significant new features that will help Spark to make a…

источник

158108:04пожаловаться #16

Инжиниринг Данных

ETL на Python https://towardsdatascience.com/python-etl-tools-best-8-options-5ef731e70b49

Medium

Python ETL Tools: Best 8 Options

Want to do ETL with Python? Here are 8 great libraries and a hybrid option

источник

173608:05пожаловаться #17

Инжиниринг Данных

источник

318119:48пожаловаться #18

Инжиниринг Данных

https://habr.com/ru/company/skyeng/blog/507122/

Хабр

7 cмертных грехов Slack в большой компании (и как победить их автоматизацией)

Так как многие, похоже, останутся на удаленке на лето, Slack станет центром пересечения буквально всех процессов и коммуникаций. Хотим поделиться набором мини-пр...

источник

161020:54пожаловаться #19

Инжиниринг Данных

Затронуло кого кризисы в ИТ? Слышал, что сокращают зарплаты и предлагаю уйти по собственному желанию. Если раньше ИТ было надежным местом, то теперь самое надежное это свой огород, как у вас? https://habr.com/ru/company/jugru/blog/507354/

Habr

Влияние кризиса на IT: уволят ли нас всех

Нередко вижу слова в духе «по другим отраслям коронавирус сильно ударил, а вот IT практически не затронул». Мол, веб-сервисы от карантина только выиграли, писат...

источник

169220:57пожаловаться #20