Можно в ui ещё посмотреть в закладке environment, вроде бы там указано его значение, но я точно не помню.

нет - отдельно spark.sql.shuffle.partitions не задан - значит дефолтное значение
хорошо, при реально больших таблицах - на несколько сотен гигов -  размер партиции у нас может доходить до гига легко
есть бест практисы по этому делу?

Серебряной пули, к сожалению, нет, все будет зависеть от кейса, от данных, от возможностей кластера. Выглядит так, что гигабайтные партиции для спарка - это не очень, лучше их где-то на уровне блока hdfs держать. При этом помня, что мелкие файлы - тоже плохо, аукнется потом неймноде. Нужно смотреть на то, сколько у Вас в наличии коров и памяти, т.е. постараться добиться максимальной параллельности и утилизации ресурсов кластера.

А возвращаясь к бест практисам - можно посмотреть материалы с конфы spark+AI и ещё от databricks, они хорошие советы дают и под капот залезают.

@ExcellentName Спасибо за помощь - поищу

Чем могу

Увы, разбитие запроса на два с промежуточным хранением в паркете не помогло - ошибка таже при записи датафрейма на диск

Попробуйте исследовать данные на предмет перекосов, и увеличить количество партиций, если лежат более-менее равномерно

Про исследовать на предмет перекосов - можете что посоветовать ?

У вас в любом случае все группировки и джойны происходят по ключам. Так же, как и исходные данные, которые вы читаете из файловой системы, с той или иной степенью равномерности записаны. Проверьте эти моменты, что нет перекосов.

Tudor Vermelho has been banned! Reason: CAS ban.

@pomadchin @krivdathetriewe @zuynew, тут товарищ был расстрелян ботом невинно :) просит реабилитации @nonaryr

ага сча разбаню)

пригласи назад)

я сниму рестрикты бота как войдет

иногда реально агрится прям непонятно

Ссылка небось

спасибо 🙏

попробуй заново свой пост воткнуть)

ага, щас