я датасорс делал для похожего, чтобы по приложенной метадате читать конкретные файлы, которые уже собрал PartitionAwareFileIndex.

Анализ предикатов для прунинга партиций начинается в объекте FileSourceStrategy (похоже лучше класса не нашлось). И, судя по коду, должен отбирать партиции любой вложенности. Затем предикаты в неизменном виде передаются в экземляр класса InMemoryFileIndex, а там уже фильтруется коллекция InternalRow, в которой значения партиций. В дальнейшем читаются только файлы из выбранных партиций.

Есть предположение, что нужно попробовать продебагать в локальном тесте и посмотреть, не отфильтровался ли где-то предикат

Hi
Is there any way to benchmark "Shuffle Time" and "processing Time" seperately?

Добрый день! Подскажите, пожалуйста, в Spark чтение из view выполняется с правами читающего или с правами создателя view?
Разные эксперименты показывают, что может быть и так, и так. Но непонятно в зависимости от чего.

Всем привет! Могли бы подсказать есть ли способ под кубером с сервака вне кластера хадуп подключиться к спарку на кластере? Нет возможности использования livy. По сути подключение есть, но базы упорно не видит. Указывал ссылки на hive.metastore

от кого джоба запущенна офк

Всем привет, может кто-нибудь подсказать, как запустить 3 независящих друг от друга скрипта на PySpark на одной машине в local режиме, чтобы они выполнялись параллельно и ресурсы между ними распределялись динамически?
Запускаю каждое через SparkSession.builder, но к примеру первое приложение забирает все ресурсы, а второе падает по тайм-ауту.

Добрый день
Подскажите, пожалуйста, можно ли в select добавить новую колонку по типу select(lit(“a”) as “alphabet”)?
Гугл ничего, кроме withColumn не подсказывает

select(lit(“a”).alias(“alphabet”))

еще экспрешн можно вставить

select ругается
Речь про скала если что

selectExpr("'a' as alphabet")

возможно, тут кавычки кривые

С эспрешн я пытался
Проблема в том, что у меня метод в роли значения

В принципе могу через передачу результата метода сделать, должно прокатить

Привет! Есть партицированная по partition_date таблица в хайве (назовем ее table. Почему запрос SELECT MIN(partition_date) FROM table из Spark SQL и из Hive SQL работает медленно ? В плане спарка видно что он идет реально читать файлы вместо использования метаданных из метастора

select(lit("a").as("alphabet"))

Почему-то данный синтаксис не хотел работать, когда вместо литерала подставлял метод
Решил как s”${method} as columnname”

Можешь сказать как именно ругается?

ну и да, ошибку бы увидеть