так и живём))

да, у нас такая же сейчас ситуация, часть кода вот и отвалилась на тестах 🤣🤣🤣
как запустим возможно начнём свой код дропать дальше

@KaiNie_R в 3.2 они много чего обновили

1. включили adaptive (следовательно некоторые тесты на repartition поехали)
2. avro 1.8 -> 1.10 обновили
3. parquet 1.10 -> 1.12 обновили (у нас было пару патчей которые тянулись на lowering полей схемы в момент read metadata, тянулись ещё с момента когда спарк читал case sensitive имена полей из паркета )

ещё по мелочи вылезло
в общем не похоже на мелкий релиз

как раз на видяху хватит )

НАрод, не подскажете на простой вопрос - на сколько эфективно использовать union dataframe и если нет - чем его заменить/тюнить?

Union двух датафреймов просто и эффективно выполняется, это дешёвая операция. Раньше (spark 2.2, может и более поздние версии, не следил) была проблема с построением плана, содержащего очень большое количество union (сотни, тысячи), потому что для каждого нового проверялись схемы всех ранее добавленных датафреймов, а это сложность O(n^2). В 2.4 проблему пофиксили, добавив "объединитель" юнионов в планах catalyst. Теперь разница очень невелика и можно ничем не заменять, только если очень хочется))
И ещё есть unionByName, можно не заботится о выборке полей в одинаковом порядке, спарк сам упорядочит как надо

Заменить можно через sparkContext.union(RDDs) и создание датафрейма на основе RDD и схемы, это всегда работает быстро и надёжно
Если есть навыки работы с планами Catalyst, то ещё лучше: можно передать в Union (это элемент логического плана) сколько угодно других логических планов. Самый быстрый известный мне способ
Или вот такой вариант: просто материализовать в одной и той же директории (сохранить) и в дальнейшем читать оттуда. Сохранение займёт время, будет оверхед на запуск джобов и их нельзя просто параллелить (одна и та же директория - возможны конфликты записи). Но иногда это как раз то, что нужно

Спасибо за такой подробный ответ 👍
В том то и дело что у меня 2.2

Мб это уже обсуждалось ранее, тогда прошу простить, но что мешает взять спарк поновее?

Это сложно. Мы переедем скоротно пока надо отчетность сдать

А в чем сложность видится?

Организационные :)

Общий кластер для нескольких подразделений и переезд очень болезненный

Подложить папку со спарком насколько болезненно?

Девопсы конечно подадут жалобу "насилие/призыв к суициду")

Но зато можно будет работать с новым)

там могут быть джобы у которых прописаны версии 2.2 и т.д.
плюс возможны смены каких-нибудь параметров по умолчанию в самом спарке, это надо оттестировать и т.д.

Ну так и оттестируйте на джобах, в которых поменяете 2.2 на 3.2)

Вот сколько уже третий спарк есть - большинству всё некогда его оттестировать)

Ну в принципе время на это есть только с 3 до 5 утра, так что либо придётся его потратить, либо не влезать в это)