Size: a a a

2021 August 30

ЕГ

Евгений Глотов... in Moscow Spark
А если он удалит поле, чё делать)
источник

SI

Sergey Ivanychev in Moscow Spark
Это несовместимое изменение схемы
источник

ИК

Иван Калининский... in Moscow Spark
В смысле, выполняющееся задание должно увидеть, что схема изменилась и перестроить её?
Ну, вообще это крайне затруднительно сделать, я вот откладываю реализацию уже около полугода))
источник

SI

Sergey Ivanychev in Moscow Spark
Такое делать нельзя
источник

ЕГ

Евгений Глотов... in Moscow Spark
Тогда вам придётся написать валидатор изменений схемы
источник

ЕГ

Евгений Глотов... in Moscow Spark
Быстрее и надёжнее руками переделать, как мне кажется
источник

SI

Sergey Ivanychev in Moscow Spark
я ведь не спрашиваю про валидацию, я пояснил что считаем, что изменение совместимое
источник

ЕГ

Евгений Глотов... in Moscow Spark
Ну тогда надо проходить рекурсивно, вот так:
источник

SI

Sergey Ivanychev in Moscow Spark
я понял твою идею, хочу что-то уже реализованное
источник

SI

Sergey Ivanychev in Moscow Spark
ридер паркета такое уже умеет
источник

ЕГ

Евгений Глотов... in Moscow Spark
Тогда генерируй файлик с одной записью новой схемы, подсовывай его в ту папку, читай и удаляй
источник

t

tenKe in Moscow Spark
ридер паркета не умеет во вложенные схемы
источник

t

tenKe in Moscow Spark
struct<a,b> и struct<a,b,c> он тебе не смержит
источник

SI

Sergey Ivanychev in Moscow Spark
вы не правы
источник

SI

Sergey Ivanychev in Moscow Spark
источник

SI

Sergey Ivanychev in Moscow Spark
смерджит божественно
источник

t

tenKe in Moscow Spark
О_о
источник

t

tenKe in Moscow Spark
какая это версия спарка?
источник

SI

Sergey Ivanychev in Moscow Spark
3.1.1 но на 2.4 это тоже работает
источник

SI

Sergey Ivanychev in Moscow Spark
Погуглите опцию mergeSchema для ридера паркета
источник