ЕГ
Вынеси отдельно вычисление максимума, получи его значение на локальной машине в переменную с помощью collect() и добавь в большой запрос с помощью lit(value)
Size: a a a
2021 August 30
ЕГ
И групбай пустые скобки писать не нужно, просто df.agg(max(...))
ЕГ
Ещё можно извратиться и написать оконкой - withColumn("max", max("col1").over(Window.orderBy("col1"))
Но такая оконка будет в 1 поток выполняться, не параллельно, так как нет партишенбай
Но такая оконка будет в 1 поток выполняться, не параллельно, так как нет партишенбай
ИК
val dfMaxDate = a.agg(max("col1") as "max")
val dfWithMax = a.crossJoin(dfMaxDate)
val dfWithMax = a.crossJoin(dfMaxDate)
ИК
это для scala, если пайтон, убрать val и переименовать переменные в одну букву))
ЕГ
🤔 а я коллектом всегда доставал, а можно кроссджойн было сделать...
ИК
по большому счёту без разницы, всё заработает
ИК
Всё, что Евгений написал, правильно
AK
Разве после такого он не стащит весь датафрейм на одну ноду?
ИК
в этом же посте это и написано
ЕГ
Так я и написал что в 1 поток будет исполнять)
KR
Спасибо большое, попробовал оба варианта, работает👍Но с кросс джойном, полагаю, будет лучше работать
ИК
но для small data - норм
AK
В смысле не очевидно, что после такого withColumn датафрейм с одной партицией получится, так ещё и сортировка лишняя будет.
Вредный совет какой-то получается)
Вредный совет какой-то получается)
ЕГ
Но если вам пипец надо сделать колонку, данных мало, а в наличии только возможность написать один запрос spark.sql, то это единственный вариант)
ЕГ
А хотя нет, таки кросс джойн как раз можно будет впихать в скл
SI
Вопрос: есть датафрейм (который parquet-таблица) и новая схема — я хочу поменять схему датафрейма, мб добив null’ами колонки, которые добавились. Это как-то можно вменяемо сделать (пусть даже с полной перезаписью)?
ЕГ
Сохранить в другое место, потом переименовать папки
SI
Какие папки? у меня непартицированная parquet-таблица
ЕГ
Таблица - это папка