A
Метаданные всегда есть в метасторейдже
Size: a a a
2022 February 03
k
ну, когда без метаданных данные читаются по-другому - это может принести проблемы
K
если просто.withColumn("udt",lit("20200507")).partitionBy("udt").write.parquet("path")
A
Когда без меты то да, но это не наш случай....
I
я сегодня с этим столкнулся буквально))))
k
прост еще один способ сломаться. их и так хватает..
K
spark.read.parquet("path") //здесь может быть стать интом
K
чисто теоретически оно может там как то динамически в фильтрах и условиях скастовать
K
но на всякий случай, лучше явно задавать
I
а почему метаданные возникают только на этапе записи? я столкнулся с тем, что он lit('yyyy-mm-dd') записал как timestamp, хотя я рассчитывал на string
I
пришлось в явном виде задавать тип
K
там бывает такое. что по факту это там не приведт. к ошибке так как будет динамик кастинг
2022 February 04
PL
Всем привет, подскажите плз, может кто знает - как заставить спарк резать данные на честные 3000 партиций, когда файл записан в 300 партициях? Я ему делаю repartition(), но он добавляет к 300 партициям пустые 2700 партиций
PL
cache().count() что-ли добавить...
k
а какая у вас проблема? или - надзадача, если хотите
что происходит после repartition?
и еще вопрос: какой формат у файлов, которые читаются?
что происходит после repartition?
и еще вопрос: какой формат у файлов, которые читаются?
PL
формат паркет. Ну там обычная работа, всякая логика накручена, без оконных функций, если что. Задача - ускорить работу
k
вы просто подаете N в repartition()? или еще какое-то поле?
PL
пробовал без поля, пробовал с rand(), пробовал с бизнес-ключом - одинаково
ИК
а сколько там данных? может count = 300?
PL
сотня гигов