ЕГ
Тогда должно быть как минимум 50 партиций на 500мб данных
Size: a a a
2021 September 29
ЕГ
Коалеск влияет на экзекушен план, может проброситься вверх, туда, где он ещё совсем не нужен
KR
Я пытался найти информацию про то, как лучше всего делить, везде по-разному пишут и не особо понятно чему верить
В офф доках мало инфы
В офф доках мало инфы
ПФ
Лан, репартишн 2, уговорил
ЕГ
ПФ
Вероятно да, не знаю
KR
Входная таблица 500 мб
В сумме у меня 3 таблицы
Каждая из таблиц получаются путём джоина таблицы с ней же, далее сортировка, группировка и агрегация
Далее получаю одну таблицу путём джоина каждой из таблицы с первоначальной
В результате получаю начальную таблицу с 3 новыми полями
Стоит ли промежуточные таблицы где-то сохранять/кэшировать перед последним джоинов?
Может я в корне неправильно делаю?
В сумме у меня 3 таблицы
Каждая из таблиц получаются путём джоина таблицы с ней же, далее сортировка, группировка и агрегация
Далее получаю одну таблицу путём джоина каждой из таблицы с первоначальной
В результате получаю начальную таблицу с 3 новыми полями
Стоит ли промежуточные таблицы где-то сохранять/кэшировать перед последним джоинов?
Может я в корне неправильно делаю?
ЕГ
А зачем столько раз саму на себя джойнить
ЕГ
Мне кажется, ты пытаешься изобрести оконку
PZ
Там с ключом джойна все норм? А то хрустальный шар кажет как будто там где-то есть значение которое на джойне размножается многократно
KR
Ради агрегации
KR
Начальное и конечное количество записей равны
KR
Ключи уникальны
KR
Я просто не особо понимаю в чем разница оконки и агрегации путём группировки
Вроде делают одно и тоже
Вроде делают одно и тоже
PZ
Тогда не очень понятно откуда тут миллиарды записей при миллионах на входе
ЕГ
Джойн не надо будет тащить)
ЕГ
А, стоп, миллиарды рядов?
ЕГ
Или миллионы?
KR
Я вот тоже не особо понимаю, как любые вычисления с 500 мб могут так долго работать и выдавать такие промежуточные данные
ЕГ
В 500мб миллиард не влезет никак