Телеграмм чат группы hadoopusers страница 2145

2020 March 05

S

Stanislav in Data Engineers

аа, там джойн

источник

15:01пожаловаться #1

S

Stanislav in Data Engineers

замкнутый круг

источник

15:01пожаловаться #2

AS

Andrey Smirnov in Data Engineers

Stanislav

замкнутый круг

залез в исходники, это славу богу отрубаемая вещь, "hbase.spark.pushdown.columnfilter"-> "false"
посмотрю дальше, но что-то на одиночной выборке было очень долго, возможно придется все-таки делать руками join

источник

15:58пожаловаться #3

I

Ivan in Data Engineers

Добрый день.
Вопрос: читаю данный с hdfs формата .parquet простым spark.read.В названии одного столбца есть пробел. Так вот он зараза не убирается .withcolumnrenamed или .alias. Точнее если просто названия смотреть через .printschema то вроде переименовывается а вот если .collect делать то пишет что проблема в названии столбца с пробелом. Как не переименовывай

источник

19:54пожаловаться #4

M

Mi in Data Engineers

Ivan

Добрый день.
Вопрос: читаю данный с hdfs формата .parquet простым spark.read.В названии одного столбца есть пробел. Так вот он зараза не убирается .withcolumnrenamed или .alias. Точнее если просто названия смотреть через .printschema то вроде переименовывается а вот если .collect делать то пишет что проблема в названии столбца с пробелом. Как не переименовывай

а киньте снипет кода как вы это делаете

источник

19:56пожаловаться #5

I

Ivan in Data Engineers

data = data.select(col("Transaction Date").alias("Date")) data.show()

источник

20:05пожаловаться #6

I

Ivan in Data Engineers

И вот на data.show() он ломается

источник

20:06пожаловаться #7

I

Ivan in Data Engineers

Хотя если сделать .printSchema() то выводит все верно, что переименованно

источник

20:07пожаловаться #8

I

Ivan in Data Engineers

Пробовал все варианты из этого вопроса:

источник

20:08пожаловаться #9

I

Ivan in Data Engineers

https://stackoverflow.com/questions/34077353/how-to-change-dataframe-column-names-in-pyspark

Stack Overflow

How to change dataframe column names in pyspark?

I come from pandas background and am used to reading data from CSV files into a dataframe and then simply changing the column names to something useful using the simple command:

df.columns =

источник

20:08пожаловаться #10

M

Mi in Data Engineers

Ivan

data = data.select(col("Transaction Date").alias("Date")) data.show()

это конечно может быть тупо, но попробуй переименовать переменную в которую сохраняешь и выводишь

источник

20:28пожаловаться #11

ЕГ

Евгений Глотов in Data Engineers

Ivan

data = data.select(col("Transaction Date").alias("Date")) data.show()

.selectExpr("`Transaction Date` as dt").show() попробуйте

источник

21:04пожаловаться #12

ЕГ

Евгений Глотов in Data Engineers

кавычка там, где тильда

источник

21:05пожаловаться #13

2020 March 06

АБ

Александр Булатов in Data Engineers

Кто разворачивал NiFi, знаете его системные требования (требуемое кол-во RAM и дискового пространства)? В документации пишут только про Java 8, операционки и браузеры.

источник

08:48пожаловаться #14

АБ

Александр Булатов in Data Engineers

В ресурсах мой сервер урезан под минимум, а ETL слой проще писать на NiFi, нежели на Airflow

источник

08:49пожаловаться #15

S

Stanislav in Data Engineers

Александр Булатов

Кто разворачивал NiFi, знаете его системные требования (требуемое кол-во RAM и дискового пространства)? В документации пишут только про Java 8, операционки и браузеры.

от висящих в нем задач зависит
это обычное жава приложение

источник

08:49пожаловаться #16

АБ

Александр Булатов in Data Engineers

Stanislav

от висящих в нем задач зависит
это обычное жава приложение

Окей, потестим на трех процессорах с 512 мб оперативы

источник

08:51пожаловаться #17

S

Stanislav in Data Engineers