Size: a a a

2021 August 09

K

KrivdaTheTriewe in Moscow Spark
Ребят, есть такой кейс spark.read.parquet("path") , в path партиции вида ("path/location=msk/udt=20200505") , что вы каталисту подсказывает, чтобы он прунил партиции нормально для фильтра вида  .filter(col("udt").isin(reportDatePart, reportDatePart1))
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Вопрос неясен
источник

K

KrivdaTheTriewe in Moscow Spark
.filter(col("udt").isin(reportDatePart, reportDatePart1)) начинает фуллскан по датасету, а не прунит партиции
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Какая прелесть! А если ===, а не in?
источник

N

Nikita Blagodarnyy in Moscow Spark
подсказываем читать предварительно собранный набор поркет-путей.
источник

N

Nikita Blagodarnyy in Moscow Spark
я где-то читал, что это должны были полечить в 3 спраке. но похоже не полечили.
источник

K

KrivdaTheTriewe in Moscow Spark
я с иквалзом гляну, если с иквалзом работает, то  лучше юнион сделать будет
источник

ПФ

Паша Финкельштейн... in Moscow Spark
да
источник

ПФ

Паша Финкельштейн... in Moscow Spark
или может быть просто where (a or b)
источник

N

Nikita Blagodarnyy in Moscow Spark
val paths = Seq(reportDatePart,reportDatePart1).map(x => s’’path/location=msk/udt=$x’’)
spark.read.parquet(paths)
источник

K

KrivdaTheTriewe in Moscow Spark
короче
источник

K

KrivdaTheTriewe in Moscow Spark
Есть ли ребята, кто прям каталист тюнил для таких вещей?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Я фигню сказал
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Конечно у тебя будет фулскан!
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Даже на иквалзе
источник

ПФ

Паша Финкельштейн... in Moscow Spark
потому что тебе надо сначала фильтр по локации
источник

ПФ

Паша Финкельштейн... in Moscow Spark
и никакой тюнинг каталиста тут не поможет, только другую проекцию собрать
источник

K

KrivdaTheTriewe in Moscow Spark
вот я прям оч хочу как то спарку подсказать
источник

K

KrivdaTheTriewe in Moscow Spark
поч, птимайзер написать условный
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Но веди такой udt может быть в любой локации
источник