SO
.option('truncate', 'True') или как?
был только .mode('overwrite')..
был только .mode('overwrite')..
Size: a a a
2019 April 12
АЖ
write.option("truncate", "true")
SO
при том, что режим останется overwrite?
АЖ
Угу
SO
без truncate он делает drop по умолчанию, верно?
АЖ
без truncate он делает drop по умолчанию, верно?
Да
SO
Ок, спасибо.
PK
А, вопрос был drop VS truncate? Да, пересоздает схему, не понял вопрос
2019 April 14
t
PK
@tenKe спасибо тебя тоже админом сделал
t
Все, теперь про спарк говорим либо хорошо, либо никак!
t
GP
Все, теперь про спарк говорим либо хорошо, либо никак!
бань всех 👍
2019 April 15
AA
Подскажите что почитать чтобы понять почему такие результаты для одного csv получаются и для toPandas на csv из 100 частей, что-то непонял из доков.
AA
AA
Читаю и csv и паркет через spark.read
AA
6 экзекьюторов
AA
все файлы gzip-ом пожаты при создании
AA
файл один и тот же просто дроблёный на запчасти