Size: a a a

2021 September 14

GP

Grigory Pomadchin in Data Engineers
просто нельзя на горячую подсовывать
источник

T

T in Data Engineers
Нет
источник

T

T in Data Engineers
Вот в этом и вопрос
источник

ЕГ

Евгений Глотов... in Data Engineers
Это не Спарк шел?
источник

T

T in Data Engineers
Нет
источник

GP

Grigory Pomadchin in Data Engineers
создай конфиг, потом сессию создать из конфига надо
источник

ЕГ

Евгений Глотов... in Data Engineers
Тогда должно быть можно
источник

T

T in Data Engineers
Ага так и делаю
источник

ЕГ

Евгений Глотов... in Data Engineers
Из пуфона заводится сессия на лету
источник

ЕГ

Евгений Глотов... in Data Engineers
3 параметра
источник

ЕГ

Евгений Глотов... in Data Engineers
Spark.jars, spark.driver/executor.extraclasspath
источник

ЕГ

Евгений Глотов... in Data Engineers
И жарки можно юзать
источник

T

T in Data Engineers
Да над завтра executor добавить и чекнуть
источник

GP

Grigory Pomadchin in Data Engineers
val conf = new SparkConf()
conf.set(“spark.jars”, “”)

SparkSession.builder().config(conf).getOrCreate()


?
источник

T

T in Data Engineers
Еп
источник

ЕГ

Евгений Глотов... in Data Engineers
Ты же в юдф джарку используешь?
источник

T

T in Data Engineers
Я хочу достать из джарки функцию и потом зарегать ее как udf
источник

GP

Grigory Pomadchin in Data Engineers
должно работать мож чет не просунул
источник

GP

Grigory Pomadchin in Data Engineers
а
ты локально пускаешь?
источник

GP

Grigory Pomadchin in Data Engineers
или конектишься к кластеру?
источник