Size: a a a

2021 August 24

ПФ

Паша Финкельштейн... in Moscow Spark
А это не делается встроенным sql?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Не, я имею в виду в реальности. Доку я читал
источник

GP

Grigory Pomadchin in Moscow Spark
так там отличный пример из реальности
источник

GP

Grigory Pomadchin in Moscow Spark
Скул функция определяется и регистрируется
источник

GP

Grigory Pomadchin in Moscow Spark
куда реальнее
источник

A

Alex in Moscow Spark
Стандартная sql функция использует java rexep, и он как раз тормозил сильно по сравнению с re2
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Там, кстати, интересно: из udf нельзя вернуть джава Бин, судя по трекеру бриксов
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Звезда в шоке! (Это я про себя)
Как так?
источник

A

Alex in Moscow Spark
Что значит как?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну в смысле почему оно быстрее?
источник

A

Alex in Moscow Spark
Разный подход
источник

A

Alex in Moscow Spark
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Значит ли это что предполагается что и без этого норм?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Спасибо!
источник

A

Alex in Moscow Spark
Вообще на наших тестах в зависимости от строки и регекспа разные побеждали

Но конкретно на прод данных re2 сильно впереди была
источник

ЕГ

Евгений Глотов... in Moscow Spark
Юдф - в первую очередь часть sql, не нужно так сильно усложнять)
источник

ЕГ

Евгений Глотов... in Moscow Spark
Есть structtype - вот его и собираем, зато потом можно в табличку сохранить as is
источник

A

Alex in Moscow Spark
Причём это ещё и на мемории лайаут норм ляжет
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Не, ну раз возвращаем структ — то должны по идее иметь возможность что угодно туда запихать )
источник

ЕГ

Евгений Глотов... in Moscow Spark
Структ состоит из базовых скл типов
источник