PK
Мегафон пока офлайн не принимает. Поэтому онлайн. Ну, либо, если найдется другая площадка.
Size: a a a
2021 May 18
S
Ясно, спасибо
C
Ирина Данилова has been banned! Reason: CAS ban.
N
T
Привет, есть тут знатоки Apache iceberg, я побраузил интернет, и не совсем понял, как в нем реализуются usert операции.
Правильно ли я понимаю что а момент usert, просто создаётся новый data file с обновленными значениями а затем обновляются манефесты?
Правильно ли я понимаю что а момент usert, просто создаётся новый data file с обновленными значениями а затем обновляются манефесты?
N
@dartov его собственноручно пишет.
AZ
да вы что, я уже сто лет "на тренерской работе"
AZ
Merge делается через создание нового датафайла и снапшота в метаданных, как и append; merge сейчас есть только в Spark3 extensions (и только через SQL), во Flink нет пока
AZ
T
Спасибо! Что если несколько врайтеров? Первый запишит остальные будут ретраить и создавать помере комитов новые снепшоты, да?
AZ
транзакции там в каталоге, честные
T
Да я как раз его начал смотреть, спасибо
T
Там получается каждый раз создаётся новая копия дата фаилов, правильно?
AZ
только для тех которые будут меняться
AZ
там агрессивный partition pruning
T
Отлично, теперь все вроде как разложилось по полочкам, больше спасибо!
AZ
попробуйте поиграться, сделайте мердж и посмотрите через table introspection как выглядят снапшоты
AZ
там будут и другие способы, просто copy-on-write самый простой в реализации, не требует компакций, и работает норм для больших файлов (у нас же тут бигдата)
T
Да как раз вечером, как все митинги закончатся😂, планировал по запускать и поковырять фаилы
N
А как-то регулируется число снапшотов?