GP
или не подошло / в чем проьлема?
Size: a a a
2020 November 24
GP
ты более конкретные вещи напиши; тут специалистов по спарку целый чат
TZ
>> ты более конкретные вещи напиши; тут специалистов по спарку целый чат
Детали в личке, фича нужна срочно и за деньги )
Детали в личке, фича нужна срочно и за деньги )
SS
дяденьки, поможите, а? почему после моего стильного и элегантного кода каталог с мелкими файлами не компактится, а пухнет?
SS
это мне вглубь партишонера влезать надо?
AN
дяденьки, поможите, а? почему после моего стильного и элегантного кода каталог с мелкими файлами не компактится, а пухнет?
Сжатие и сортировка данных в исходных файлах? Скорее всего их изрядно причесали прежде чем слить на диск(глянуть бы код которым их писали) А компактер при чтении-записи все данные взболтал репартишеном.
SS
сжатия то же - снеппи
SS
сортировку пробую повторить, спасибо!
SS
я как-то могу вытащить эту информацию из метаданных паркет-файлов?
I
Увидел в пути bronze и вспомнил про bronze/silver/gold концепт, который мы стараемся имплементить. Можете кинуть, что почитать на эту тему. Какие данные в каком уровне хранятся, какие best practices...
N
2020 November 25
S
сортировку пробую повторить, спасибо!
в колонках не получится вот так просто компактить
сортировка и правда дает очень приличное сжатие
поэтому надо лезть в дебри дф и повторять операции на выходе (что не всегда оправдано)
сортировка и правда дает очень приличное сжатие
поэтому надо лезть в дебри дф и повторять операции на выходе (что не всегда оправдано)
K
Всем привет! Сейчас планируем разворачивать Hadoop. Есть ли какие-то требования к томам на ОС? Как лучше оформить структуру файловой системы/директорий lдля NN и DN? Требования к месту?
R
Всем привет! Сейчас планируем разворачивать Hadoop. Есть ли какие-то требования к томам на ОС? Как лучше оформить структуру файловой системы/директорий lдля NN и DN? Требования к месту?
Сперва mindset админов нужно настроить.
S
Всем привет! Сейчас планируем разворачивать Hadoop. Есть ли какие-то требования к томам на ОС? Как лучше оформить структуру файловой системы/директорий lдля NN и DN? Требования к месту?
никак хадуп не умрет )
один том на один диск для датанод
все точки монтирования скормить в конфиг хадупу
один том на один диск для датанод
все точки монтирования скормить в конфиг хадупу
АЖ
ну у клавудеры/хортона даже гайды неплохие есть
N
ну у клавудеры/хортона даже гайды неплохие есть
А у аренадаты.... Вообще изюм!
SD
Добрый день. Коллеги, прощу прощения за возможно банальный вопрос, но что означают «звездочки» в phisical plan спарка:
*(1) FileScan
*(2) Filter
*(2) Sort
Для всех типов операций она означает отдно и то же?
*(1) FileScan
*(2) Filter
*(2) Sort
Для всех типов операций она означает отдно и то же?
N
Добрый день. Коллеги, прощу прощения за возможно банальный вопрос, но что означают «звездочки» в phisical plan спарка:
*(1) FileScan
*(2) Filter
*(2) Sort
Для всех типов операций она означает отдно и то же?
*(1) FileScan
*(2) Filter
*(2) Sort
Для всех типов операций она означает отдно и то же?
* значит, что у вас spark.sql.codegen.wholeStage выставлен в true
SD
Nikolay
* значит, что у вас spark.sql.codegen.wholeStage выставлен в true
О, отлично, спасибо большое