GP
у меня была удф которая ссылалась на функцию внутри класса, такое падало - он не мог десериалиловать сералилованную функцию
Size: a a a
2021 September 14
GP
Вылечилось тем что я сунул в компаньон ее
GP
Может у него проблемы какие-то, кепчурит по другому теперь
T
`
spark.udf.register("TEST_UDF", udf((str: String) => {
// val decode = java.util.Base64.getDecoder
if (str.startsWith("b:")) {
//blah
Array.empty[Int]
} else {
str.split(",").map(r => r.trim.toInt)
}
}))
`
spark.udf.register("TEST_UDF", udf((str: String) => {
// val decode = java.util.Base64.getDecoder
if (str.startsWith("b:")) {
//blah
Array.empty[Int]
} else {
str.split(",").map(r => r.trim.toInt)
}
}))
`
T
Я вот тоже сначала на это грешил по этому вытащил ее в лямбду но не помогло
T
Я правда раню в ноутбуке и мне кажется из за этого у него крыша едет
GP
Я не пойму
GP
Где тут Function3
T
вот и я не пойму
T
В общем заверну в джарку подсуну в ноутбук и посмотрю
GP
Ну пока какбудто не в удф проблема) может след функция ожидает чето другое или падает на десериалилации результата?
GP
там наверное длинее ошибка
GP
посмотри может в другие части стек трейса еще
T
А там тоже самое
T
T
я все же подозреваю что он, ноутбук, не правильно прокидывает мою udf
K
Там пляски с кубером начнутс
IK
может кто нибудь встречал презентации или схемы, кто как организовывал свои подобия CDP. На базе snowplow, amplitude или чего то подобного ? как то не густо в сети на этот счет
E
подскажите, пожалуйста, как правильно писать на pyspark чтоб не было вот такого неочень осмысленного полотна?
```python
```
из-за одного условия (партиций) нужно дублировать код
очень похоже на паттерн Builder, но в данном случае не понятно возвращается ли какой-то обьект обратно и если да, то какой.
ссылки на гугл тоже приветствуются)
```python
if is_target_partitioned:
anonymized_source_df \
.coalesce(20) \
.write \
.format('delta') \
.mode("overwrite") \
.partitionBy("load_date") \
.save(target_s3_path)
else:
anonymized_source_df \
.coalesce(20) \
.write \
.format('delta') \
.mode("overwrite") \
.save(target_s3_path)```
из-за одного условия (партиций) нужно дублировать код
очень похоже на паттерн Builder, но в данном случае не понятно возвращается ли какой-то обьект обратно и если да, то какой.
ссылки на гугл тоже приветствуются)