t
просили без питона, но на питоне
Size: a a a
2021 October 05
t
ПФ
можно scala udf из питона позвать
t
можн
t
py4j позволяет воплотить в жизнь самые страшные фантазии
VV
UP
На всякий случай, а то я прямо в середину обсуждений вклинился
На всякий случай, а то я прямо в середину обсуждений вклинился
CO
Короче, вот так вот решил сделать и пусть так и будет )))
my_time = spark.sql('''select from_utc_timestamp(current_timestamp(),"Europe/Kiev") current_time''').collect()[0][0]
my_time = spark.sql('''select from_utc_timestamp(current_timestamp(),"Europe/Kiev") current_time''').collect()[0][0]
N
Слушайте, а как вот такую структуру (when - otherwise) слепить динамически? Я заранее не знаю список полей, которые встретятся в жысоне, поэтому такое статическое перечисление не подходит.
Что-то кроме selectExpr ничего в голову не приходит.
Что-то кроме selectExpr ничего в голову не приходит.
t
рекурсия ж
t
хвостовская
t
SS
foldLeft над списком полей?
N
а как в нем подсунуть следующий when в otherwise предыдущего?
GP
что ты имеешь ввиду?
GP
аккумулятор у тебя первый when
GP
остальное это _.otherwise(when(
M
почему у вас список when-otherwise если должно быть много when + один последний otherwise
N
да вот смотрю и чет хз зачем так написал
M
тут разве что вопрос как список полей нужных собрать, а потом по этому списку уже можно будет арргериговать when + отдельно в конце прописать otherwise
2021 October 06
ДА
всем привет. подскажите пожалуйста если в structured streaming за временное окно пришло N событий для идентификатора, потом окно сдвинулось и событий стало 0. можно ли как-то настроить, чтобы значение 0 тоже отправлялось?