A
сразу удалили, а потом сказали "у вас параметр неправильный, попробуйте ещё раз"
Size: a a a
2022 January 11
NN
Ой дичь какая
A
кто там на log4j жаловался? =)
v
Мне кажется это тонкий намек от оракла чтобы мы покупали их решения для бекапов
v
Хотя коммит где из-за лишнего пробела делался
rm -rf в корне не переплюнуть. По-моему что-то с видеодрайверами.NB
Красиво
A
да, бамблбии для нвидии
k
ну, если у кого-то спарк пишет в raw data, то это не спарк виноват..
2022 January 12
D
Подскажите, пожалуйста, есть вариант писать df в hdfs, ограничив размер файла снизу? Есть вариант, конечно, но он костыльный с предварительной оценкой размера файлов parquet
k
я полагаю, что нет, т. к. к-во файлов просто равно к-во тасков на аутпуте. последнее зависит от кучи других вещей, а в конце аутпут спарк мержить не умеет. но, может, я ошибаюсь.
решения small files problem, которые я знаю -
1. repartition (включая соленый repartition, если есть data skew)
2. тюнить spark parallelism
3. юзать delta lake - в опен сорс версии там можно периодически мержить файлы, но это вроде будет full scan. и я не помню, атомарная ли это операция (не упадут ли readers, читающие файлы в момент мержа)
4. мержить файлы через parquet tools. это достаточно быстро, т. к. в этом случае не мержатся row groups, а просто аппендятся, грубо говоря
5. у hive на managed таблицах есть конфиги, позволяющие выполнять merge атомарно при записи. можно также пофиксить таблицы, где есть уже мелкие файлы. другое дело, что hive managed tables в проде - хз, надо ли
1,2,3 я использовал, работает. 4,5 - нет. хз, как работает
решения small files problem, которые я знаю -
1. repartition (включая соленый repartition, если есть data skew)
2. тюнить spark parallelism
3. юзать delta lake - в опен сорс версии там можно периодически мержить файлы, но это вроде будет full scan. и я не помню, атомарная ли это операция (не упадут ли readers, читающие файлы в момент мержа)
4. мержить файлы через parquet tools. это достаточно быстро, т. к. в этом случае не мержатся row groups, а просто аппендятся, грубо говоря
5. у hive на managed таблицах есть конфиги, позволяющие выполнять merge атомарно при записи. можно также пофиксить таблицы, где есть уже мелкие файлы. другое дело, что hive managed tables в проде - хз, надо ли
1,2,3 я использовал, работает. 4,5 - нет. хз, как работает
D
Пункт 3 липа, merge тучи мелких файлов плодит
MB
k
вы что-то неправильно делали, значит
MB
На 33 минуте на мой взгляд неплохо рассказывает про варианты, как управлять количеством файлов на выходе. Я на практике использую дополнительную джобу, которая делает coalesce исходя из количества и размера файлов.
D
Скорее вы не понимаете что такое merge. Если я вмердживаю датасет с тремя новыми строками, почти нверняка будет три новых мелких файлика, т.к нверняка все три окажутся на разных экзекьюторах. Никакой магии укрупнять у дельты нет
2022 January 13
D
Repartition output data before write: For partitioned tables, merge can produce a much larger number of small files than the number of shuffle partitions. This is because every shuffle task can write multiple files in multiple partitions, and can become a performance bottleneck. In many cases, it helps to repartition the output data by the table’s partition columns before writing it. You enable this by setting the Spark session configuration spark.databricks.delta.merge.repartitionBeforeWrite.enabled to true.
N
@pklemenkov запинишь? Годный видос.
N
В народном хозяйстве помогает.
k
под merge files я понимал вот это
https://docs.delta.io/latest/best-practices.html#compact-files
да, слово неверное, согласен, т. к. есть операция merge
https://docs.delta.io/latest/best-practices.html#compact-files
да, слово неверное, согласен, т. к. есть операция merge
GP
держи, если полезен пусть будет в пине