ЕГ
Какую?
Size: a a a
2021 August 24
ПФ
Ну типа map(z=> (z, parseSite(z))
ЕГ
Потому что spark sql
GP
как ты скуль функцию свою определить можешь без них кстати?
GP
короч это как удт тока для функций
A
Простой пример из жизни:
Парсинг регекспом данных из строки тупул
Переписали на udf с re2, запрос ускорился более чем в 2 раза
Пару раз был парсинг интересных блоков или хитрая аналитическая функция
Парсинг регекспом данных из строки тупул
Переписали на udf с re2, запрос ускорился более чем в 2 раза
Пару раз был парсинг интересных блоков или хитрая аналитическая функция
KR
Это разве не udf получается?
GP
(прочитал как хинкальная аналитическая функция)
ЕГ
Если тебе 15 параметров надо ещё, будешь колупаться с тюплами?
A
Там была хтоническая
GP
хтоническая подходит, спасибо
ПФ
Принято. А тогда вопрос: бывает ли что из udf надо вернуть case class?
ЕГ
Для вас удобный функционал делают, вы говорите нам не надо, давайте удалим)
ПФ
Ну оно не регистрируется как udf, так что вопрос определений
K
да или в sql
ЕГ
Из юдф возвращается структ
ПФ
Спасибо
GP
GP
Там все что мы тут сказали в двух словах и примерами