ИК
Отличный вариант! Ещё бы не сканил весь RDD до этого, иногда может быть накладно
Size: a a a
2021 September 24
ИК
У меня похожая задача, в каждой строке большой бинарный объект и немного метаданных, поэтому было бы отлично, если бы spark читал сразу по одной строке в партицию RDD. Если делать по уму, то нужно записывать по одной строке в row group паркета (не знаю, как это сделать), а потом читать отдельные row group (это знаю, как сделать)
ПФ
Д
Проходил примерно такую задачу, запихать в партицию данные только для одного файла, а затем записать этот файл. Пишу на экзекуторах, данные подсолил, обработал, затем убрал соль и записал, каждый екзекутор пишет свой файл из своей партиции.
2021 September 25
AP
привет, кто-то помнит как называется параметр - количество строк которые берется для инференса схемы json? Сорри что -то вообще не могу найти
ЕГ
.option("inferSchema", "true")
AP
не не - это то понятно, но оно ж берет типа первые 200 или около того строк для вывода схемы.
ЕГ
А, блиииин, где-то было
AP
воооот , я вот не могу найти как оно -)
ЕГ
ЕГ
Там внизу чёт есть
AP
спасибо, вроде похоже. Но чет мне память говорить что там был какой-то прям параметр, хотя я могу ошибаться
AS
val samplingRatio =
parameters.get("samplingRatio").map(_.toDouble).getOrElse(1.0)
parameters.get("samplingRatio").map(_.toDouble).getOrElse(1.0)
AS
а там дальше
// In each RDD partition, perform schema inference on each row and merge afterwards.
val typeMerger = JsonInferSchema.compatibleRootType(columnNameOfCorruptRecord, parseMode)
т.е. про 200 строк информация неверная/устаревшая
// In each RDD partition, perform schema inference on each row and merge afterwards.
val typeMerger = JsonInferSchema.compatibleRootType(columnNameOfCorruptRecord, parseMode)
т.е. про 200 строк информация неверная/устаревшая
AP
понял, спасибо, видимо это флешбеки версий 1.6
2021 September 27
VI
Скопировал табличку с помощью distcp в паркете. Как ее можно прикупить ? Create table не получается, создаётся пустая табличка. Msk repair не помогает.
VI
Кто нить сталкивался ?
PK
Она external с location?
VI
Да
VI
/user/hive/warehouse/.....