PK
А в Moscow Spark можно скидку утащить?
Size: a a a
2021 October 07
DZ
Конечно
AZ
Нет, блоки хранятся в том объёме сколько данных, никто не добивает его до 128 мб или другого размера блока (если не верите - возьмите по имени файла его имя блока и найдите на датаноде)
Выигрыш вы получили за счёт сжатия, как я вам и писал раньше
Выигрыш вы получили за счёт сжатия, как я вам и писал раньше
AZ
Если маленьких файлов очень много, и данные хорошо жмутся - разница может быть и на порядок, своими глазами такое видел
OI
А кроме эмперического способа есть возможность понять, хорошо будут сжиматься данные или нет?) Имея информацию о типах и значениях
OI
ну, например, если у нас колоночный формат и в колонке много одинаковых значений (М/Ж, например)
AZ
Ну методы сжатия разных типов для паркета известны, но способа предсказать степень сжатия без сжимание хотя бы сэмпла мне неизвестно
AZ
Обычно в больших даталейках пишут рекомендательные тулы, которые посмотрев на структуру и сэмпл могут подсказать более эффективную последовательность колонок, другой тип данных, но таких чтобы предсказывало степень сжатия - я не видел
ПБ
Я всегда сортирую по pk
GP
кредо
AE
только эмперейский, эмператорский, или эмпретический способы, но это всё один хрен.
NN
Оу.
Получается, что колонки друг за другом ещё лучше располагать исходя из типа?
Для меня только сейчас дошло, хоть я и не раз читал про то, как в данные в орках и паркетах лежат.
Получается, что колонки друг за другом ещё лучше располагать исходя из типа?
Для меня только сейчас дошло, хоть я и не раз читал про то, как в данные в орках и паркетах лежат.
ИК
Так там же column chunk или что-то такое. Неужели есть большая разница, в каком порядке они лежат, если видимые характеристики - оффсет и длина?
NN
Я, честно говоря, не знаю.
Писал сейчас ответ, и понял, что мне надо перечитать про устройство паркета и орка.
Писал сейчас ответ, и понял, что мне надо перечитать про устройство паркета и орка.
ЕГ
Ну бывает и растёт размер после компактора😆
N
у нас тут как-то написали один компактор, а он файлы по 5 гигов раскомпакчивал в 128 МБ )
ПБ
Calling sortBy is optional, bucketing will work also without the sorting. The other way around is not working though — you can not call sortBy if you don’t call bucketBy as well.
AZ
Я про последовательность сортировки при записи в паркет
NN
А..
AZ
Влияет по каким колонкам отсортированы данные перед энкодингом