Size: a a a

2019 July 11

K

KrivdaTheTriewe in Moscow Spark
чот смотрю, что все идет к тому что скор спарк 3 будет
источник
2019 July 12

GP

Grigory Pomadchin in Moscow Spark
KrivdaTheTriewe
чот смотрю, что все идет к тому что скор спарк 3 будет
А что там
источник
2019 July 15

SO

Simon Osipov in Moscow Spark
Привет, вопрос:
Есть Spakr DF, в нем есть колонки с null. В csv не могу записать CSV data source does not support null data type.

Есть ли способ сразу при записи разбираться с этим, или нужно предварительно конвертировать все null в пустые строки, типа fillna()?
источник

GP

Grigory Pomadchin in Moscow Spark
Simon Osipov
Привет, вопрос:
Есть Spakr DF, в нем есть колонки с null. В csv не могу записать CSV data source does not support null data type.

Есть ли способ сразу при записи разбираться с этим, или нужно предварительно конвертировать все null в пустые строки, типа fillna()?
а какая версия спарка?
источник

SO

Simon Osipov in Moscow Spark
2.2.0
источник

GP

Grigory Pomadchin in Moscow Spark
nullы видимо у тебя типа null
источник

GP

Grigory Pomadchin in Moscow Spark
понятно, что он не может записать csv
источник

GP

Grigory Pomadchin in Moscow Spark
покажи схему (`printSchema`)
источник

SO

Simon Osipov in Moscow Spark
func.lit(None))


Там где null
источник

GP

Grigory Pomadchin in Moscow Spark
попробуй Option.empty[тут тип который те хочется]
источник

SO

Simon Osipov in Moscow Spark
Ок, спасибо!
источник

ЕГ

Евгений Глотов... in Moscow Spark
Я обычно кастую этот нулл в нужный тип
источник

ЕГ

Евгений Глотов... in Moscow Spark
Просто lit(None).cast("int"), например
источник

ЕГ

Евгений Глотов... in Moscow Spark
Рано или поздно ведь появятся данные, и тип всё равно понадобится тоже
источник
2019 July 22

С

Сюткин in Moscow Spark
О, коллеги, привет
источник

PK

Pavel Klemenkov in Moscow Spark
Сюткин
О, коллеги, привет
Хафтан?)
источник

С

Сюткин in Moscow Spark
Pavel Klemenkov
Хафтан?)
Лучше)
источник

PK

Pavel Klemenkov in Moscow Spark
Лучше только металлика, поющая гроб)
источник

DG

Denis Gabaydulin in Moscow Spark
Маликова хаскелиста позовите )
источник
2019 July 23

OP

O. Petr in Moscow Spark
Здравствуйте, а есть ли разница между df.rdd.mapPartitions и df.mapPartitions ? Может что то более эффективно ?)
источник