K
чот смотрю, что все идет к тому что скор спарк 3 будет
Size: a a a
2019 July 11
2019 July 12
GP
чот смотрю, что все идет к тому что скор спарк 3 будет
А что там
2019 July 15
SO
Привет, вопрос:
Есть Spakr DF, в нем есть колонки с null. В csv не могу записать
Есть Spakr DF, в нем есть колонки с null. В csv не могу записать
CSV data source does not support null data type.
Есть ли способ сразу при записи разбираться с этим, или нужно предварительно конвертировать все null в пустые строки, типа fillna()?GP
Привет, вопрос:
Есть Spakr DF, в нем есть колонки с null. В csv не могу записать
Есть Spakr DF, в нем есть колонки с null. В csv не могу записать
CSV data source does not support null data type.
Есть ли способ сразу при записи разбираться с этим, или нужно предварительно конвертировать все null в пустые строки, типа fillna()?а какая версия спарка?
SO
2.2.0
GP
nullы видимо у тебя типа null
GP
понятно, что он не может записать csv
GP
покажи схему (`printSchema`)
SO
func.lit(None))
Там где null
GP
попробуй
Option.empty[тут тип который те хочется]SO
Ок, спасибо!
ЕГ
Я обычно кастую этот нулл в нужный тип
ЕГ
Просто lit(None).cast("int"), например
ЕГ
Рано или поздно ведь появятся данные, и тип всё равно понадобится тоже
2019 July 22
С
О, коллеги, привет
PK
Сюткин
О, коллеги, привет
Хафтан?)
С
Хафтан?)
Лучше)
PK
Лучше только металлика, поющая гроб)
DG
Маликова хаскелиста позовите )
2019 July 23
OP
Здравствуйте, а есть ли разница между df.rdd.mapPartitions и df.mapPartitions ? Может что то более эффективно ?)