KS
.save() должен быть?Да
Size: a a a
2019 April 08
KS
(
df.write.format("jdbc")
.option("useUnicode", "true")
.option("characterEncoding", "UTF-8")
.options(url=mssql_connection,
dbtable=mssql_table,
driver=driver
).mode('append').save()
)
df.write.format("jdbc")
.option("useUnicode", "true")
.option("characterEncoding", "UTF-8")
.options(url=mssql_connection,
dbtable=mssql_table,
driver=driver
).mode('append').save()
)
KS
Так пайспарком в mssql пишу
PK
.save() должен быть?save - это action, который триггерит вычисление дага. Всё остальное - трансформации, которые только модифицируют граф вычислений
SO
save - это action, который триггерит вычисление дага. Всё остальное - трансформации, которые только модифицируют граф вычислений
А разве write это не action?
PK
write - это singleton, который позволяет писать в синк
PK
Не action
SO
write - это singleton, который позволяет писать в синк
Немного сложно для понимания, можно пояснить чуть более простым языком
?
?
PK
write - это просто атрибут спарк сессии, который позволяет писать датафрейм во внешний сторадж. Единственный action, который запускает запись - это save
SO
Спасибо за пояснение!
2019 April 10
N
Вопрос про тунгстем и columar format.в какой момент моего чтения csv файла с помощью dataframe /dataset появляется это колоночное храние данных
N
Вопрос возник из того, что unsafeRow не хранит же поколоночно. Оно линеаризует просто
N
Я то думаю, что если нет операций , которые сильно потребляют память ( sort, join, agg) то никакого колумнара и не будет.
DU
в Спарке сейчас колоночное представление используется только при чтении из паркета и для вызова pandas udf
ЕГ
А как же орк, допилили же
AS
в Спарке сейчас колоночное представление используется только при чтении из паркета и для вызова pandas udf
а orc?
DU
а, ну может
ЕГ
Мне почему-то кажется, что селект трёх колонок из ста из csv таки создаст колоночное представление
DU
вряд ли, больше похоже , что просто column pruning сработает
AS
Евгений Глотов
Мне почему-то кажется, что селект трёх колонок из ста из csv таки создаст колоночное представление
интересно как, чтение все равно последовательно будет