а что там не так кроме отсутсвии некоторых оптимизаций ? мы пока мелочевку перетянули, наблюдаем. с delta lake проблем не наблюдали вообще. там же все совсем дубово

iceberg, hudi вроде это совсем эксперемнтально и мне не нравится метастор не на hdfs. delta можно скопировать в соседнюю папку, а тут как я слышал нет

у вас данные не сильно мутируют? правки задним числом?

про айсберг речи не веду, он, предполагаю, вам излишен и будет тяжеловат. Худи в моём понимании лёгкий, но насчёт метастора не в курсе, какие там пути. Я сам написал light способ хранения метаинфы файлового уровня в служебном файлике, через некоторое время сделал, чтобы в этом файлике хранились относительные пути, в момент чтения к ним добавляется путь к каталогу хранения. Это очень просто, уверен, в худи есть похожие алгоритмы

Вот вы все время говорите "бесплатный", "дешевле", "не платить за каждый read/write", вы учитываете при этом ваши косты maintanance, людей которые сами "патчат bsd"?

сильно. на всю глубину истории + gdpr

ты сейчас нас всех посчитал что-ли? (цитата из старого детского мультика)

Я согласен с there is no cloud, this is just somebody's else computer. Но это ведь часто тупо дешевле. Иначе оно бы так не взлетело ведь, нет?

Работа такая, считать ;)

тогда очень странно, что вы выбрали Delta OSS... вы проводили полноценное нагрузочное тестирование? самый жирный датафрейм гоняли на регулярных upsert'ат при прогретых данных? (то бишь при наличии всей истории в виде delta-таблицы)

на фоне лицензий люди с восточной европы ничего компании не стоят. говорю, оракл 7 нулей счета в год

Ещё кстати SLA надо почитать. Вы можете сравнимый с Амазоном сами обеспечить? Бизнесу норм, что иногда оно падает все? :)

Ну, те, кто до сих пор не узнал про существование постгреса, это отдельный вид. Зачем сегодня людям платный оракл я не понимаю (в новых проектах, с легаси понятно)

Потом да, я считаю немецкие зарплаты

мы лет 5 назад сами примерно к тому же дизайну пришли, на фоне того так работает сейчас принципильной разницы не будет

постгрес дохнет под нагрузкой, там vacum, апдейты меняют адрес строки, что за собой тянет перестройку индексов. в продукции такое не взлетит у нас

и все-таки, вы проводили полноценное тестирование? оно может вас неприятно удивить

Не могу аргументированно и развёрнуто возразить сейчас, но мне кажется, что вам это кто-то рассказал и вы приняли слова на веру

нет. средненькую по объемам систему тестировали

Не смешите публику :)