GP
Size: a a a
2021 July 30
ПФ
Ну это же просто .read.orc().withColumn(mycol.as(othertype)).dropColumn().write.orc()
AK
а как мне разом во всех партициях это сделать?
AK
только не циклом
ПФ
А у вас там точно только Спарк?
AK
ПФ
Или может с хайвом каким?
AK
без хайва
ПФ
.mapPartitions?
GP
ну я не понимаю на самом деле вопроса
ПФ
Я тоже
GP
наверное тут какаято история
ПФ
Что такое Спарк партишны?
ПФ
Обычно это просто условно внутренняя сущность, которую удобно себе представить как кусок датафрейма
GP
но если через спарк; то спарк грузанет все париишоны орка в память; схему поправишь; он запишет в новую папку новые данные
все будет новое и поправленное
все будет новое и поправленное
GP
не знаю ответит ли это на твой вопрос
AK
данные разбиты понедельно в соответствующие партиции.в одной партиции колонка user ==int ,в другой ==float
ПФ
И мы о ней можем не думать когда нам надо провести преобразование над всеми данными
GP
ПФ
А разбивали как?