t
ну если нормально сделать лень, то можно через to_json from_json
Size: a a a
2021 August 30
SI
Хм, кстати варик
t
хотя конечно в этом варианте есть риск прострелить себе оба колена из-за проблем жсон парсера спарка
ЕГ
Мне кажется через хайв не прокатит, так как это структы
ИК
Во-первых, я не очень понимаю, как можно переопределить схему, не переопределяя данные.
Во-вторых, чем же не устраивает .withColumn, .withColumnRenamed, .drop?
Во-вторых, чем же не устраивает .withColumn, .withColumnRenamed, .drop?
ЕГ
Колено в любом случае будет прострелено, так что лучше пиши код, чтоб быстрее залечить)
ИК
даже не как, а зачем переопределять схему в отрыве от данных?
t
неправда :3 Предложенный мной вариант работает на отличненько 🙂
ЕГ
Ну да, это можно сказать етл
t
и главное в нем можно учесть все корнер кейсы
ЕГ
Меня вот бесит что from_json требует схему
t
я не про этот вариант)
t
to_json from_json такое себе
SI
да банально коллега добавляет в таблицу поле, я хочу чтобы версионированная версия это таблицы автоматом подхватывала изменение схемы. Или хотябы полуавтоматом
SI
Но без ручных ковыряний в схеме каждой таблицы
ЕГ
Коллегу в тёмном переулке подкарауль и жизни научи
ЕГ
Нехорошо править схему таблицы без переделки данных в любом случае
ЕГ
Даже если ты инт на лонг поменял
ЕГ
Или он полностью переделывает таблицу, а ты просто не хочешь переписывать в случае его изменений свой етл?
SI
руками поменять схему я могу, но если коллега добавляет поле в таблицу — его заставлять еще и дописывать код версионированной? Это такое себе