SI
delta наше все 😉
Size: a a a
2021 December 15
k
ага, это вполне работало
k
опенсорсная версия. энтерпрайз дельту не доводилось шатать
ME
ну может сделают, в gs же есть вроде
SI
я почти уверен что не сделают
SI
s3 это фундаментально не древовидная структура а key-value хранилище блобов
ME
я тоже был почти уверен что consitent listing не сделают
SI
ну это другое, имхо
ME
ну это kv blob storage все равно сделан как отдельно metadata storage и blob storage
ME
mv можно так же атомарно сделать как в mv в hdfs namenode
SI
mv в неймноде работает, так как файловая система лежит в памяти одной машины — разве нет?
SI
s3 более масштабируема пр своей архитектуре, жертва здесь это клевые операции типа mv
ME
да че там делать, этож просто как файлик в облако переложить, 2 сторипоита</irony>
ME
ну конечно можно сделать атомарный mv, зависит уже того как у них metadata storage сделан, но технически можно конечно
SI
вангую что там dynamodb и театр окончен
SI
в гугле есть google spanner с распределенными транзакциями — может быть они их и заиспользовали, кстати
A
Не, динаму они для s3guard использовали, у себя насколько мне рассказали для с3 не используют её
2021 December 16
SI
Коллеги, а кто-то успешно использует Data Vault/Data Anchor в связке со спарком у себя в проектах?
DZ
использовал, а в чем вопрос?
DZ
etl и есть etl