если надо памятку тоже могу выкопать

апд «памятка» https://email.jugru.org/view.html?x=a62e&m=7pdYE&u=sh2Nv&z=IcBB4hG&o=pp_1

🔥

а есть?)

у саппорта все есть. это в бигдате я ничего не понимаю

Апну

использую, у меня работает в таком виде, как написано

Должно работать строго так, как описано. Можно подробнее кейс, как сделана запись, что в сторадже?

И я не использую spark.sql.files.maxPartitionBytes. Этот параметр и spark.sql.files.openCostInBytes подобны двум бамбуковым палочкам, которыми нужно сложить дом из камней))

У меня есть возможность делать свои имплементации FileSourceScanExec, я делаю чтение, как нужно. Соединяю «соседние» по определенным признакам файлы, или читаю строго по файлам. Как мне нужно, так и читаю.

Читал статью где про это описывается https://www.google.com/url?sa=t&source=web&rct=j&url=https://medium.com/swlh/spark-parallelization-key-factors-24e77065d523&ved=2ahUKEwiguKr7yMTzAhXpkIsKHdOaDYYQFnoECAUQAQ&usg=AOvVaw0ugeNKNzBa2ycBZcOTR-A7

Пробую применить к большой табличке примерно 3тб. Не работает.

таблица читается для пересохранения, или делается groupBy().agg() или df.count?

Читается с фильтром без группировки

должно получаться порядка 15000 партиций в RDD, если это таблица 3 Тб, состоящая из файлов в разделяемом формате: parquet, ORC, несжатые csv, json

Партиций примерно 33500, тип таблицы паркет.

33500 партиций - в смысле hive партиции, папки в сторадже?

Это что возвращает функция getNumPartition

ну, вполне может быть, скорее потому, что maxPartitionBytes не изменён, а стандартный, 128Мб

Я пытался поставить 200мб их должно было стать в двое меньше примерно

Но не работает

spark.read
 .option("spark.sql.files.maxPartitionBytes", 200 * 1024 * 1024)
 .table(table_name)

попробуй так, чтобы не спарк уклонился))