Даже если поле является полем партиционирования, то есть сохранено в виде названия папки в файловой системе или объектном хранилище, спарк знает об этом только ДО начала выполнения запроса. Информация о партиционировании может быть использована только для прунинга партиций, когда значения указаны явно, в виде литералов.

В ходе выполнения запроса спарк прочитает в RDD все строки, в которых будут указанные в запросе поля из файлов (или ни одного поля, если они не указаны), добавит к ним все поля партиционирования (начиная с этого момента это точно такие же поля, как все остальные). С этим RDD и будет выполняться в дальнейшем вся работа, все вычисления. Это сделано для универсальности, а не для оптимизации.

Сделать так, чтобы спарк работал с полями партиций, не создавая итераторы по всем записям можно только расширениями. DataSource кастомный, или что-то вроде Iceberg для хранения (но это не точно)

Стоп, я до этого момента думал, что спарк берет пути файлов каждой партиции из хайва — там есть таблица партиций таблиц

```
SELECT *
FROM PARTITIONS
INNER JOIN (
   SELECT *
   FROM TBLS
   WHERE TBL_NAME = 'table'
   ) AS T
WHERE T.TBL_ID = PARTITIONS.TBL_ID
```

В терминах SQL в Hive Metastore БД

И там дальше для каждой PART_ID будет записи с файлами для нее

Да, это так. Но RDD всё равно будет создан на основе файлов с данными. Вдруг будет пустая партиция, или пользователь заперсистит датафрейм и потом будет делать count или sum или ещё что-то. На основе метаинформации спарк делает только прунинг, работа со значениями партиций напрямую не производится

Если сделать через jdbc такой запрос, то без проблем можно работать со значениями партиций. Но это именно метаданные, не сами данные

Меня удивляет, что в Hive SQL JDBC (без спарка) `SELECT MIN(partition_date) FROM table` тоже работает адски медленно

Как будто хайв сам тоже идет читать файлы

Тут не скажу точно, но, походу, именно так и происходит, по тем же соображениям универсальности подхода

интересно, спасибо

Ты когда свою книжку напишешь с разбором начинки спарка?

Я заранее готов купить

Вдруг минимальные партиции будут пустые (очистить папку в hdfs - как не фиг делать)) , в этом случае нельзя их выводить как минимальные. А это можно выяснить только обратившись к файлам с данными

Боюсь облажаться((

Найдем тут сильного ревьюера, и будет топчик вообще.
Лучше тебя я пока тут ещё никого не видел, кто бы так распотрошил начинку и достаточно доступно донес суть

Сыглы, тоже купил бы)

Можно начать с выкладывания статеек в блодик на медиуме, например. А там и со временем материал на книгу наберётся.

Так это надо делать что-то))
Ладно, попробую для начала на хабре, официально. Черновик уже есть

+

Если помощь какая понадобится - обращайся, я бы тоже немного копнул в детали в свободное время.

Собирай краудфандинг. Возьмёшь отпуск за свой счёт на месяцок. Думаю мы навалимся )