k
not bad 👍
Size: a a a
2022 February 03
ЕГ
Overwrite по умолчанию делает дроп всей папки и создаёт заново
ЕГ
Возможно на саму папку нет прав
k
осторожней с insert into. оно вроде не проверяет порядок полей, и может одно поле записать в другое, если типы совпадают
ЕГ
И вообще 1 случай так себе, лучше сделать
write.mode("overwrite").saveAsTable("table")
write.mode("overwrite").saveAsTable("table")
Н
то есть, если я сделаю mode = "append" то всё будет ок?
ЕГ
Не надо вставлять мимо таблицы в папку
ЕГ
Это некорректно
ЕГ
Соответственно append так же
Н
А партиции не пропадут в таком случае?
ЕГ
Какие именно?
ЕГ
Всё дропнется и перезапишется с нуля
ЕГ
И появятся новые партиции все
Н
Я перепроверю , но скорее всего у меня нет прав на дроп таблицы
Только чтение и запись
Только чтение и запись
Н
А почему это не корректно?
Я правильно понял, что нужно всегда прописывать в конце saveAsTable?
Я правильно понял, что нужно всегда прописывать в конце saveAsTable?
PL
вопрос на засыпку - чем отличается insertInto(...) от saveAsTable(...) ? mode и там и там overwrite
М
1) df.write.partitionBy("col1", "col2").mode('overwrite').parquet('path to table data location')
try use 1) df.write.partitionBy("col1", "col2").mode('overwrite').format("parquet").saveAsTable("db.table")?
try use 1) df.write.partitionBy("col1", "col2").mode('overwrite').format("parquet").saveAsTable("db.table")?
М
"overwrite" vs "append" !!!!!
ЕГ
insertOverwriteMode=dynamic
ЕГ
И куча проблем