Телеграмм чат группы hadoopusers страница 2116

тут как с любым пирогом логических и физических абстракций, всегда будут пользователи которым нужно отжать максимум и они пойдут на более низкий уровень (как есть люди поднимающие на амазоне минио), но мы же тут говорим про мейнстрим и сервисы для пользователей, мое видение - больше серверлесс и доменных апишек, меньше ковыряния в планировщиках

источник

11:19пожаловаться #7

DZ

Dmitry Zuev in Data Engineers

Но как это влияет на разработку

источник

11:19пожаловаться #8

AZ

Anton Zadorozhniy in Data Engineers

успех датафлоу кмк мое видение подтверждает

источник

11:19пожаловаться #9

S

Serg Slipushenko in Data Engineers

Anton Zadorozhniy

тут как с любым пирогом логических и физических абстракций, всегда будут пользователи которым нужно отжать максимум и они пойдут на более низкий уровень (как есть люди поднимающие на амазоне минио), но мы же тут говорим про мейнстрим и сервисы для пользователей, мое видение - больше серверлесс и доменных апишек, меньше ковыряния в планировщиках

Ок, зависит от домена, согласен. Я говорю про процесинг большой даты в картинках

источник

11:20пожаловаться #10

DZ

Dmitry Zuev in Data Engineers

Serg Slipushenko

Ок, зависит от домена, согласен. Я говорю про процесинг большой даты в картинках

Чем он отличается от процессинга большой даты в чем либо другом?

источник

11:21пожаловаться #11

S

Serg Slipushenko in Data Engineers

Тем, что нужно не только что б работало, а что б работало эффективно и пользовало все ресурсы запрошенные в облаке

источник

11:22пожаловаться #12

UD

Uncel Duk in Data Engineers

Mikhail Epikhin

Я, конечно, свечку не держал, но вот ребята из minio сранивают себя с aws s3 и разница в латентности не очень большая https://blog.min.io/benchmarking-apache-spark-vs-aws-s3/

MinIO Blog

Comparing the performance of MinIO + AWS S3 with Apache Spark on TPC-H

Another in a series of benchmarks defining high performance object storage, this post looks at Apache Spark on the TPC-H benchmark vs. AWS S3.