ЕГ
Так как миллиард строк из одного поля это гиг
Size: a a a
2021 September 29
KR
Как я понимаю, изнутри он все равно будет джойнить
PZ
Точно нет какого-то «дефолтного» значения которое потом выстреливает на джойне? Нуля там, например
ЕГ
Не, он будет группировать, сортировать, но джойнить не будет
KR
500 мб это входные данные, дальше уже что угодно по идее может быть
ЕГ
Ты говоришь проблема при чтении
ЕГ
А не при джойне
KR
Не, иначе итоговый результат был бы больше
ЕГ
В джойне 200 тасков?
PZ
Если потом группировка - то с чего бы?)
KR
Так, Джоин это же шафлинг?
Если да, то 432(кратное 3 количеству ядер)
Если да, то 432(кратное 3 количеству ядер)
KR
Там все этапы медленные
ЕГ
Джойн выполняется в число тасков, равное spark.sql.shuffle.partitions
KR
Группировка и джоин по одним и тем же полям
KR
Это и есть 432 в моем случае
KR
По дефолту 200 стояло, поменял на 432, особой разницы не было
ЕГ
Ну значит то, что в 22 таска 16 минут исполняется - это не оно
ЕГ
Ещё раз, а сколько сделан репартишен при записи из предыдущего процесса?
KR
Репартишен я не делал
df.rdd.partition.size выдаёт 22
df.rdd.partition.size выдаёт 22
KR
Если у меня 128 гб оперативы
Доступно для yarn ~45гб
Как лучше разбить таблицу?
Доступно для yarn ~45гб
Как лучше разбить таблицу?