ЕГ
МРР базы для аналитики
Там точно такой же сортмёрдж джойн, ничего он не быстрее, чем в спарке
Size: a a a
2021 February 14
ЕГ
Мифы и легенды древней архитектуры)
ЕГ
Дескать берём МПП за $$$ и всё быстро работает
AZ
Евгений Глотов
Там точно такой же сортмёрдж джойн, ничего он не быстрее, чем в спарке
Ну данные в этих СУБД часто отсортированы уже, в отличии от..
ЕГ
Если всё бакетировано, то будет хорошо, конечно, на паре самых больших таблиц, но этого и в спарке можно добиться
AZ
Евгений Глотов
Мифы и легенды древней архитектуры)
Видимо надо рассказать это датабрикс, которые пишут свою delta engine по легендам и мифам..
ЕГ
Видимо надо рассказать это датабрикс, которые пишут свою delta engine по легендам и мифам..
Ну, с дельталейком поговаривают, что дорогая часть сильно быстрее, чем бесплатная)
AZ
Евгений Глотов
Ну, с дельталейком поговаривают, что дорогая часть сильно быстрее, чем бесплатная)
Я про дельта лейк ничего не писал
ЕГ
А что за дельта энжин?
ЕГ
Почитаю🤔
AZ
Это МРР СУБД которая понимает Spark Dataframe API, по легендам и мифам (на крестах, с векторной обработкой где можно), видимо будет не быстрее спарка, как вы сказали
ЕГ
Быстрее, но не экспоненциально, вместо этого например можно докупить нод под спарк в ярне
...если не требуется выполнять запросы быстрее, чем за минуту, тут вот спарк не особо справляется
...если не требуется выполнять запросы быстрее, чем за минуту, тут вот спарк не особо справляется
ЕГ
Хотя низкоуровневые оптимизации конечно хорошо
AZ
Евгений Глотов
Быстрее, но не экспоненциально, вместо этого например можно докупить нод под спарк в ярне
...если не требуется выполнять запросы быстрее, чем за минуту, тут вот спарк не особо справляется
...если не требуется выполнять запросы быстрее, чем за минуту, тут вот спарк не особо справляется
Что такое «экспоненциально быстрее»?
ЕГ
В смысле алгоритмически там то же самое, сложность алгоритма одинаковая, только применены низкоуровневые оптимизации
AZ
Думаю вопрос времени когда они прикрутят к нему и нормальное хранение, вообще неизвестно что у них там в DBIO крутится.. они хотят тягаться со сноуфлейками и редшифтами
ЕГ
Думаю вопрос времени когда они прикрутят к нему и нормальное хранение, вообще неизвестно что у них там в DBIO крутится.. они хотят тягаться со сноуфлейками и редшифтами
Спасибо за инфу, может в следующий конкурс на закупку МПП к нам попадёт, в текущий уже вряд ли...)
AZ
Я говорил о самом простом локальном джоине, то что называется co-located join в гринпламе например
AG
Мы щас прод на датабрикс делаем, киллер фича дельты, как по мне - оптимайз, который сжимает и объединяет файлы. Хотя по мимо этого есть много других интересных штук
AG
И апсерты, как я мог забыть об апсертах