Телеграмм чат группы hadoopusers страница 3158

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2229 membersпожаловаться на группу

2021 January 22

KS

K S in Data Engineers

У нас в проекте есть консультанты по AWS, которые предлагают hudi вместо delta lake. Интересно узнать мнение тех, кто имел дело с обоими форматами.

источник

12:00пожаловаться #1

A

Alex in Data Engineers

До недавнего времени s3 не поддерживался без s3guard, так как отсутствовал атомарный rename

Сейчас может и полетит

источник

12:01пожаловаться #2

AS

Andrey Smirnov in Data Engineers

У нас в проекте есть консультанты по AWS, которые предлагают hudi вместо delta lake. Интересно узнать мнение тех, кто имел дело с обоими форматами.

логично, hudi все деньги им, delta lake основную часть заберет датабрикс :)

источник

12:02пожаловаться #3

A

Alex in Data Engineers

@renardeinside может больше скажет по текущему состоянию s3 и дельты

источник

12:02пожаловаться #4

KS

K S in Data Engineers

До недавнего времени s3 не поддерживался без s3guard, так как отсутствовал атомарный rename

Сейчас может и полетит

Это из-за того, что в S3 завезли strong consistency?

источник

12:04пожаловаться #5

A

Alex in Data Engineers

Да

источник

12:04пожаловаться #6

KS

K S in Data Engineers

логично, hudi все деньги им, delta lake основную часть заберет датабрикс :)

То то я думаю, чего они delta lake игнорят. Когда я заикнулся про vendor lockin, они совсем загрустили.

источник

12:06пожаловаться #7

KS

K S in Data Engineers

Не уверены типа, что glue сможет поддерживать delta lake.

источник

12:07пожаловаться #8

AZ

Anton Zadorozhniy in Data Engineers

То то я думаю, чего они delta lake игнорят. Когда я заикнулся про vendor lockin, они совсем загрустили.

можно подсластить тем фактом что данные если все равно можно прочитать, если что, но я тоже грустил бы, все так

источник

12:09пожаловаться #9

A

Alex in Data Engineers

То то я думаю, чего они delta lake игнорят. Когда я заикнулся про vendor lockin, они совсем загрустили.

А дельта лейк это не вендор локинг?

источник

12:09пожаловаться #10

AZ

Anton Zadorozhniy in Data Engineers

А дельта лейк это не вендор локинг?

это он и есть

источник

12:11пожаловаться #11

A

Alex in Data Engineers

Но ведь есть же опенсорс дельта

источник

12:12пожаловаться #12

A

Alex in Data Engineers

(шутка)

источник

12:12пожаловаться #13

AZ

Anton Zadorozhniy in Data Engineers

Но ведь есть же опенсорс дельта

толсто

источник

12:12пожаловаться #14

A

Alex in Data Engineers

в EMR hudi из коробки идет, так что если работать с AWS то худи не такой и плохой вариант. Сам думаю его скоро прикручивать именно из-за "из коробки"

источник

12:13пожаловаться #15

A

Alex in Data Engineers

Anton Zadorozhniy

толсто

Ну человек так понимаю хочет опенсорс дельту гонять

источник

12:14пожаловаться #16

AZ

Anton Zadorozhniy in Data Engineers

Ну человек так понимаю хочет опенсорс дельту гонять

думаю человек быстро разберется что к чему

источник

12:16пожаловаться #17

R

Renarde in Data Engineers

@renardeinside может больше скажет по текущему состоянию s3 и дельты

усе работает, не понимаю в чем вопрос.

аргумент про вендор лок мне тоже непонятен - есть OSS дельта, у нее отличия в основном по функционалу типа optimize etc.
Структурно выглядят файлы так же, протокол коммитов тоже OSS, недавно и нативные клиенты опенсорснули - https://github.com/delta-io/delta-rs

либо у меня в голове какое-то иное понимание выражения "вендор лок".

delta-io/delta-rs

A native Rust library for Delta Lake, with bindings into Python and Ruby. - delta-io/delta-rs

источник

12:17пожаловаться #18

A

Alex in Data Engineers

усе работает, не понимаю в чем вопрос.

аргумент про вендор лок мне тоже непонятен - есть OSS дельта, у нее отличия в основном по функционалу типа optimize etc.
Структурно выглядят файлы так же, протокол коммитов тоже OSS, недавно и нативные клиенты опенсорснули - https://github.com/delta-io/delta-rs

либо у меня в голове какое-то иное понимание выражения "вендор лок".

delta-io/delta-rs

A native Rust library for Delta Lake, with bindings into Python and Ruby. - delta-io/delta-rs

Раньше вы с голым s3 не работали, из-за eventual consistency

Вернее датабрикс реализация работала, OSS требовал s3guard

Вот и спросил нужно ли его сейчас или уже просто на s3 и OSS версия работат

источник

12:19пожаловаться #19

АЖ

Андрей Жуков... in Data Engineers

А oss разве не stub по сути?

источник

12:19пожаловаться #20