ЕГ
Если это столько сжатого паркета/орка в хдфс, то в памяти будет терабайт 15-20, это прям реально тяжело в один запрос обработать
Size: a a a
2021 July 30
ЕГ
Всегда можно разбить таблицу на какие-то логические куски и выполнить запрос по частям, а затем агрегировать результат
VI
Дело в том что агрегации нет
VI
Кластер 2тб памяти 400 ядер
VI
Свободно места 5.5тб
ЕГ
Джойн - это тоже можно сказать один из видов агрегации
ЕГ
Совместной для нескольких таблиц
VI
Я уже замучился с ним
ЕГ
Насколько маленькие остальные 5 таблиц?
VI
Самое интересное что если сделать джоин через датафрейм двух больших таблиц так он отрабатывает
VI
Меньше 1тб
VI
Меньше 1тб точно не скажу Сейчас
ЕГ
Я б на месте вашего хадупа вообще отказался работать с таким малым количеством свободного места, удивительно, что хоть что-то работает)
AK
Кейс казалось бы несложный.Есть N количество партиций с паркетом,нужно во всех партициях изменить формат одной колонки.как это оптимально сделать?
ПФ
Написать mr джоб, видимо
ПФ
Хотя если данных не очень много - то можно и спарком
AK
есть example простой?
ПФ
На мр или на спарке?
AK
на спарке
GP
load.map.save наверн