VI
👍 дошло
Size: a a a
2021 November 24
ЕГ
В анси есть кейс вен
VI
Перегруженная функция
VI
Завтра проверю спасибо
2021 November 25
D
Спасибо!
CO
Всем привет, не подскажите, что не так
Локально делаю на маленьком тестовом df всё отлично работает, а тут хрен там ((
Спасибо за помощь
df = (
df
.withColumn('reason', F.when(F.col('reason')=="", None))
.withColumn('sys_updated_by', F.lit(args['JOB_NAME']))
.withColumn('sys_updated_time', F.from_utc_timestamp(F.current_timestamp(),"Europe/Kiev"))
)
print(df.groupBy('reason').agg({'id':'count'}).show(truncate=False))
+------+---------+
|reason|count(id)|
+------+---------+
|null |3382809 |
+------+---------+
По факту, там много разного текста и есть пусто, есть пробел и есть нулл, а мне по этому полю нужно партию сделать.Локально делаю на маленьком тестовом df всё отлично работает, а тут хрен там ((
Спасибо за помощь
ЕГ
Партиция по пробелу - так себе идея
CO
Вот по этому я хочу убрать пробелы и пусто и null и заменить на 'empty'
После пред действия хочу вот это сделать
df_not_null = df.na.fill(value='empty',subset=['reason'])
После пред действия хочу вот это сделать
df_not_null = df.na.fill(value='empty',subset=['reason'])
ЕГ
Стоп а где значение когда не равно пустой строке?
ЕГ
Это не так работает немножко)
ЕГ
Сейчас примерно значение колонки равно: если колонка пустая строка, то нулл
ЕГ
А если не пустая, то тоже нулл😆
CO
йок макарек (((
CO
owervrise
CO
блииин
CO
Спасибо большое ))
ЕГ
CO
а не подскажите как spark.sql
получить инкремент
мне нужно пронумеровать строки от 1-до их колво
row_number() over()
ругается что нужно добавить партию, а мне она не нужна (
получить инкремент
мне нужно пронумеровать строки от 1-до их колво
row_number() over()
ругается что нужно добавить партию, а мне она не нужна (
CO
ааа просто любой поле добавить нужно, спасибо
AN
Ты так спарк в однопоточную систему превратишь. Есть monotonically_increasing_id() она работает параллельно но айдишники будут с разрывами (непрерывность не гарантируется)