Н
спасибо
Size: a a a
2021 August 31
ПБ
Не ну согласитесь, я сохранил 2 паркета (партиции по дням) и джойню их по ключам , а спарк сканит , шафлит все эти паркеты😡
ПФ
а если сделать сначала партишн бай?
ПФ
а, ну на джойне ты всё рано в шафл пойдёшь конечно, как ещё
ПБ
Значит надо делать 2 папки одну по ключам, другую по датам: а это х2 по месту
ЕГ
Можно двухуровневое партицирование
ПФ
подожи, такое ты можешь и на датафрйемах разрулить, не? сделать только селект двух колонок и поджойнить
ЕГ
Но вообще папки по ключу это супер фиговая идея
ЕГ
Если ключей миллиард например
ПБ
А если ключ синтетика для волта, а джоин по другому полю 3 партиции?
ЕГ
Хдфс скажет - спасибо всем за работу, я пошёл)
ЕГ
А тогда всё равно читать все данные
ЕГ
В любой другой базе данных точно так же будет
ПБ
Там индексы спасут, та же вертика, эксалол
ЕГ
Индексировали по одному ключу, джойним по другому, ждём два века
ПФ
ну как хдфс. неймнода
ЕГ
Хороший будет индекс по одному ключу, если мы разложили данные по другому ключу)
ЕГ
Проще всего тупо читать все данные и не париться
ПБ
Ок, как в кликхаусе) сначала чанки по дням, потом индексы по ключам)
ПБ
Долго читать будет терабайты
А если джоинов 5-10
А если джоинов 5-10