SI
аааа, с полной перезаписью всего? типа данные мутируются?
Size: a a a
2021 December 15
ДД
Да, в этом и проблема (
SI
есть delta, она позволяет сделать конкурентное чтение и запись из одной и той же таблицы
SI
по идее с ней у вас не будет временных папок + можно сделать механизм, когда таблица полностью перезаписывается
SI
другое дело, что это все равно остается плохо с точки зрения схемы да и вообще
ME
так а нельзя просто обойтись mv вместо cp?
ME
записали во временную директорию в hdfs, а потом сделали mv
O
Партиции настройте на мутации, если возможно и перезаписывайте, или удаляйте и новые добавляйте на худой
ДД
Спасибо всем за советы!🙏
ДД
А я правильно понимаю, что если у нас отсутствует папка, в которую мы хотим перенести данные из temp, то mv будет работать как rename?
ДД
Сори, забыл что в Гугле не забанили)) нашел ответ
k
1. спарк записывает в temp, suceeds
2. rename hdfs-"папки" - atomic op, и быстро. с aws s3 такой номер не прошел бы
2. rename hdfs-"папки" - atomic op, и быстро. с aws s3 такой номер не прошел бы
k
можно hdfs клиента для rename вызвать, он вместе со спарком уже у вас есть
SI
> aws s3 такой номер не прошел бы
не сыпь мне соль на рану!
не сыпь мне соль на рану!
k
dynamic partition overwrite не сработает, да 😄
k
или как там его.. тот, что выборочно умеет обновлять партиции, а не все сразу
SI
оно работает, но более криво чем hdfs
SI
в s3 даже mv файла нет — это copy + delete
k
к сожалению, это равносильно "не работает" на сколько-нибудь значимых объемах 😒 да, тоже выкручиваться доводилось
A
А как же hadoop не нужен, k8s + minio хватит всем