N
ну вот вычисли экспериментально в какое число портишонов получается нужный тебе размер файлов. зная число строк - получишь некоторый коэффициент К = строк на 1 партицию. Из него можно обратно вычислять количество партиций, зная число строк.
Size: a a a
2021 June 16
N
Но надо понимать, что чем меньше выходных партиций, тем ниже параллелизм и тем медленнее все происходит. Так что файлы в 8 Гб может быть так себе история.
NN
И зачем это тебе? Сколько коров/экзекьюторов для процессинга доступно?
UD
Защем
СХ
😕потому что 120 млн файлов в hdfs это треш
UD
Видел больше
UD
Дальше чо
UD
У тебя полно вариантов, от тупых пихнуть больше оперативки в неймноду
UD
До апгрейда
СХ
у нейноды свободно 60% хипа
UD
Тогда ты решаешь бесполезную задачу
UD
От листинга тоже можно избавиться в пределах разумного
NN
Это не треш, это адекватно. А вот файлы по 8 Гб для спарка уже боль страшная, попробуй потом какой-нибудь джойн сделать, утонешь в шаффл спиле.
СХ
не скажи, например когда мы обьединили 10 млн файлов, время расчётов сократилось на 1 час
СХ
там авто файлы склеили после флинка
NN
Из какого размера в какой?
UD
Хрюч, тыж инжонир
UD
Метрики собери, потом решай
СХ
из 30-160 мб, в 4 гб