ИК
почему же нет, функция, которая будет возвращать какое-то описание переданных колонок. Но зачем, ведь есть же лучше, есть планы, у них есть output: Seq[Attribute]
Size: a a a
2021 October 01
D
А чем плохо df использовать, лишние ресурсы?
ЕГ
Нет, само по себе использование названия df подразумевает, что для этого надо создать переменную df
ЕГ
В идеале [имхо] спарк-код выглядит как колбасон из методов класса Dataframe, начиная от spark.read.(...) И заканчивая .save(...)
ЕГ
Есть нюансы с несколькими подзапросами в запросе, типа джойна сложных таблиц с подгонкой их друг под друга - тут вынос в переменную уже может быть полезен
ИК
Ещё бы в sql добавить подмножества полей по какому-то признаку. А то символ для всех полей есть: «*», а для всех строковых, или PK, или startWith(«_sys») нет((
AE
ишь чё. а зачем startsWith()?
ЕГ
Не для данных в колонке, а для самих колонок
AE
я понимаю. но зачем? какой юзкейс?
ИК
Не первый раз вижу, что какой-то ETL фреймворк добавляет пачку полей с одинаковым префиксов. Взять их и что-то сделать
ИК
Contains тоже неплохо
ЕГ
MetaSpark
ЕГ
AE
теоретически ничего не мешает юзать синтаксис типа column_prefix_*
AE
или *_contains_*
ИК
Не обязательно spark, вообще sql
ИК
Да, да. Вот так и в стандарт!!
AE
и ресолвить в контекст пространства имён полей текущего запроса
AE
только боюсь, что однозначно этого сделать нельзя
ИК
Может получаться пустое множество. Где-то видел такое, валидно выводится нужное количество пустых записей