I
У вас нагрузка больше Zalando или Adyen?
Size: a a a
2021 April 26
D
я знаю как вещи устроены. читайте про postgres zheap - там расписано почему делают нормальный UNDO как в оракле
SS
вот мы тоже уперлись в ограничения Delta OSS при масштабном тестировании "вмердживания" самых жирных и мутабельных датафреймов/таблиц - и были вынуждены использовать Hudi.
D
ну у нас небольшие инкременты, просто часто
I
А можно поподробнее про ваш юзкейс, пожалуйста? И больше деталей, меньше пафоса :)
D
юзкейс postgres дохнет под нагрузкой, это признано сообществом postgres и над новым дизайном работают. называется zheap. он избавит постгрес от основных болевых точек, начиная с вакума
SS
так это еще страшнее! из-за отсутствия субпартиций/бакетинга и z-order функциональности, позволяющей при апсерте маленькой порции новых данных в существующую партицию спозиционироваться на конкретных файликах - будет на каждый инкремент сканироваться вся партиция/партиции, затронутые инкрементом
D
да. наш самопальный вариант тоже так работает
ИК
вы можете не дождаться 😐
I
Ок, гуру!!! Смиренно преклоняю колено :)
SS
тогда как Hudi позволяет задавать сколь угодно вложенные партиции
ИК
так ведь даже самопальный вариант можно развить в эквивалент худи и даже с нужными вам наворотами-фичами и под контролем
VS
Мне прям стало интересно, а что, золандо для олтп использует постгресс?
ИК
не полный, конечно, эквивалент, но вполне можно сделать то, что надо
SS
(я не пытаюсь вам продать Hudi, лишь хочу чтобы вы внимательно посмотрели на свои сценарии и оценили возможности Delta OSS по их реализации)
I
Я вроде задал конкретный и понятный вопрос: что вы пытаетесь в постгресе сделать? Какой фичи вам не хватает и почему. В ответ мантра "постгрес дохнет под нагрузкой". Я не готов продолжать этот диалог, он становится каким-то теологическим. Хотите верить в оракл - дело ваше. Удачи!
e
Наверное важно при изменениях оставить ресурсы для маневров. , Что бы на ходу можно было переобуться. Тогда выбор того или иного не так важен 😉
D
мне казалось это что-то совсем свежее и экперементальное
AZ
если вы такие прижимистые - посмотрите на Azure Blob Storage, вас там чарджат только за метаданные, за гигабайты (чтение и запись) платить не будете