Телеграмм чат группы moscowspark страница 808

Народ
Вопрос. У нас необходимо выгружать данные в REST и тут проблема, какими средствами можно организовтаь многопоточную выгрузку? Источник - parquet файл.

источник

13:27пожаловаться #8

Nikita Blagodarnyy in Moscow Spark

методом foreachpartition

источник

13:36пожаловаться #9

tenKe in Moscow Spark

ну если прям совсем правильно делать - то написать коннектор

источник

13:38пожаловаться #10

ПБ

Повелитель Бури... in Moscow Spark

Салют!
Хочу сконвертить binary в uuid
нашел пример
https://sparkbyexamples.com/pyspark/pyspark-cast-column-type/

4 способа, т.е. кто как хочется так и пишет?

Spark by {Examples}

PySpark - Cast Column Type With Examples — SparkByExamples

In PySpark, you can cast or change the DataFrame column data type using cast() function of Column class, in this article, I will be using withColumn(),

источник

14:35пожаловаться #11

ИК

Иван Калининский... in Moscow Spark

https://sparkbyexamples.com/spark/how-to-pivot-table-and-unpivot-a-spark-dataframe/

Сначала надо unpivot (stack), потом применить фильтры/ аггрегаты, потом pivot обратно. И это не для производительности, а потому, что по горизонтали фильтры неприменимы. Сколько ни пытайся, всё сводится к блоку case when … else с огромной вложенностью

Spark by {Examples}

How to Pivot and Unpivot a Spark DataFrame — SparkByExamples

This article describes and provides scala example on how to Pivot Spark DataFrame ( creating Pivot tables ) and Unpivot back. Pivoting is used to rotate the data from one column into multiple columns. It is an aggregation where one of the grouping columns values transposed into individual columns with distinct data.