AK
понедельно
Size: a a a
2021 July 30
ПФ
Спасибо. Я имею в виду как это было сделано технически?
AK
техничеки спарком
ПФ
Откуда он знал что ему нужно в новую директорию класть?
AK
read parquet с указанным path
ПФ
Видимо write. Ну то есть мы понимаем что это не партиции Спарка, да?
ПФ
Вам нужно преобразовать данные в наборе директорий, которые для Спарка никак не связаны
ПФ
У третьего Спарка есть флаг recursiveFileLookup, если его выставить в true - будет искать рекурсивно
ПФ
До трёшки такого флага нет и надо изобретать что-то руками. Например цикл
ЕГ
А партиции как называются, name=value?
ЕГ
А в чём кстати проблема циклом пройтись😐
AK
week=2020-07-01
AK
о как -у меня как раз 3й спарк-попробую
ЕГ
Тогда изи spark.read.parquet.withColumn(...).write.partitionBy("week").save(...)
ЕГ
Спарк такой нейминг сам учитывает для создания колонки
ЕГ
И записывает так же
ЕГ
Не нужны никакие рекурсивные файлы
VI
В этот момент он место не забивает на кластере думаю из за указанного хинта броадкаст.
ЕГ
Поэтому и был вопрос, насколько маленькие остальные 5 таблиц - если они все влезают в броадкаст, то да, в память всё вычитываться не будет, так же как и шаффлиться)
VI
И не понятно почему с датафреймами он отрабатывает при таких ресурсах.