ПФ
из правой схемы вычитам левуют и даем нужные движения
Size: a a a
2021 September 30
ПФ
ну значит то же самое рекурсивно
ИК
https://stackoverflow.com/questions/58917626/add-comments-to-hive-tables-using-pyspark
Посмотри первый ответ, там немного допилить, добавить каст ну и сделать коллекцию, а не одну колонку
Посмотри первый ответ, там немного допилить, добавить каст ну и сделать коллекцию, а не одну колонку
SI
я понимаю, что это можно написать самому, но как-то не хочется
SI
там довольно много корнеркейсов, типа «слева поля нет, а справа оно nullable»
ИК
Естественно, всё добавленное появится только после сохранения
SI
нужно очень хорошо протестировать этот код
Н
да я думаю тут реально проще циклом пройтись
def apply_schema(df, schema):
columns = map(lambda x: df[x["name"]].cast(x["type"]).alias(x["name"], metadata=x["metadata"]), schema["fields"])
return df.select(*list(columns))
ИК
Неплохо выглядит, можно в cookbook добавлять))
SI
Это не работает если разница схем во внутренних полях
SI
cannot cast struct<name:string,value:long> to struct<name:string> например, и так далееН
ну там наверное можно подшаманить как-нибудь)
Н
осталось понять где эти схемы держать в airflow.Variables или на hdfs или в сервисе
SI
ну вот отпишись, как только подшаманишь)
VV
Всем привет! А кто-нибудь что это за <unknown>:0 такой?
У меня рандомно на этих тасках процесс зависает наглухо, перестает что-либо делать или писать в логи и просто висит пока не убьешь
У меня рандомно на этих тасках процесс зависает наглухо, перестает что-либо делать или писать в логи и просто висит пока не убьешь
ИК
выглядит как что-то сгенерённое в рантайме
ИК
ну, или новый смайлик обкатывают в UI ))) >:0
VV
Если что, это попытка залить датафрейм на hdfs в формате DeltaLake с помощью pyspark + stand-alone кластера.
D
а что за версия delta.io ? у нас на 0.6 + java такого не замечал