O_o

Ты уверен ?

Привет, вопрос, а ктонибудь встречался. такой ошибкой?

udf_meta_decode is expected to be a generator. However, its class is org.apache.spark.sql.catalyst.expressions.PythonUDF, which is not a generator.

Контекст - есть python функция которая возвращает tupple, регистрирую ее

sql_context.udf.register("udf_meta_decode", udf_meta_decode)

и вызываю в sql  

SELECT
    *
FROM transform_raw

LATERAL VIEW
    udf_meta_decode(context, user_agent, app_os) lv1 AS sd_string, os_name, os_version, browser, browser_version

пробовал вернуть генератор?

естественно,

udf_meta_decode = udf(meta_decode, ArrayType(StringType()))

обернул еще в декоратор

ну теперь сделай explode этому

смею предрлолжить что вернеться org.apache.spark.sql.catalyst.expressions.PythonUDF, о чем и пишеться в ошибке, просто я пробывал различные комбинации) и во всех туториалах и примерах либо просто функцию передают либо декарируемую,  даже в документации

ну тогда не пробуй

udf_meta_decode = udf(meta_decode, ArrayType(StringType()))

так тапл или лист?

tupple в случае без декоратора, и чего-то не ясного если с декораторм, ибо он вызывает что то java образное

ошибка тут

LATERAL VIEW
            udf_meta_decode(context, user_agent, app_os) lv1 AS sd_string, os_name, os_version, browser, browser_version

, вернее не ошибка, если просто вернуть одно значение то ок, если tupple то нет

Коллеги, а ктонибудь в курсе в каком состоянии этот проект ?
ктонибудь пользуется?
какая лицензия?

https://docs.databricks.com/delta/index.html

в развивающемся

народ с саммита говорил, что пока не оч готово к бою

Ясно, спасибо

Apache 2.0

для того чтобы его использовать нужен Databricks Runtimes, просто на свой кластер не поставить?

извени, не понял