Доброе утро! А pivot без sql можно сделать?

Ну Эксель умеет например

df.groupBy("A", "B").pivot("C").sum("D")

В функцию pivot можно передать сиквенс уникальных значений колонки C

Delta 1.0.0
Зависание было связано с инфраструктурой, его ужалось починить, а что за unknown я так и не понял, в UI  показаны этапы кодогенерации, возможно действительно что-то динамически создаётся

спасибо!
https://sparkbyexamples.com/spark/how-to-pivot-table-and-unpivot-a-spark-dataframe/

привет, подскажите, почему bit_length нет в org.apache.spark.sql.functions , но ее вызывать через sql можно? (spark 2.3)

И не только её
Используй expr("func(column)")

Таков путь

спасибо

Всем привет!! А подскажите как бы вы прочитали в Spark sequnce-файл вида
key1\t{"a":1,"b":2}
Я знаю, что можно сделать
1) spark.read.csv(.., sep="\t"), потом from_json(col2, schema)
2) через rdd и json.loads
3) возможно как-то через newHadoopFile
4) я уверен, как-то можно через spark.read.json, но не знаю как
я понимаю, что можно сначала через csv, потом записать вторую колонку на диск, а потом прочитать через spark.read.json.
Можно ли обойтись без записи на диск?

я не понимаю в чём проблема первого подхода

схема неохота писать, слишком большая, хочется чтоб инференс схемы мне всем сам сделал

По всему файлу одинаковая, или может быть разная?

одинаковая

Есть спарк-функция schema_from_json, первую строку копируешь и подаёшь её в lit

Или как-то так, название забыл

Берёшь эту схему, она в simpleString

Пишешь код, который конвертит simpleString в StructType

Применяешь его во from_json