ИК
вот, полностью приватный класс, пользоваться запрещено, муазаза
Size: a a a
2022 January 28
ЕГ
Вам как спартицировать?
ЕГ
ЕГ
Ты кстати похож😆
ДД
Много маленьких файлов и мало ядер (16 на весь кластер)
DZ
тогда 15 партиций
DZ
ЕГ
ДД
Т.е. репартиционировать входные данные в сторону укрупнения размера партиций это правильная идея?
ЕГ
Правильная, до тех пор, пока не начнёшь упираться в скорость чтения малого числа файлов с большим размером
ЕГ
128 мегов считать и распаковать тоже время надо
ЕГ
Тем более 256
ЕГ
Там внутри гига 2 будет +-
ДД
Понял, спасибо большое за помощь
k
еще зависит, как row groups внутри файлов раскиданы. 1 row group в одном файле на 10ГБ будет читаться 1 таской
если в файле 10 row groups, сможете в 10 тасками один файл читать
если в файле 10 row groups, сможете в 10 тасками один файл читать
ЕГ
А 1 row group на 300 гигов не будет читаться...
ЕГ
ЕГ
Даже если он запакованный весит 128мб
k
взять эхзехутор на 500 гигов, не?