Из разряда “костыли и велосипеды“, но вполне можно сделать обычную UDF, которая возвращает Seq[Row] и потом делать explode.
Что-то в таком духе вполне будет работать.

with t as (
    select explode(myArrayFunc(…)) as row
)
select row.* from t

На каких объемах это умрет – это отдельный вопрос 🙂

Я вот сомневаюсь что на массиве в сотни миллионов объектов оно будет нормально работать)

Да, в этом я даже не сомневаюсь, что оно не будет работать на таких объемах 🙂
Но для каких-нибудь справочников на десятки-сотни-тысячи строк – может сработать

Другой велосипед, который приходит в голову, это делать все что нужно в скале и потом делать createOrReplaceTempView.
Но это потребует менять пайплайн и генерить нужные вьюхи до вызова SQL-а.

Можно попробовать в теории влезть в это на моменте парсинга SQL-а и там добавить какие-то хуки чтобы делать это на лету, если вьюхи не нашлось, но это уже полет фантазии, я не уверен насколько это реалистично и насколько сложно это будет запилить на практике.

Если использовать хинт repartition, то ни на каких

Я чёт не думал, что explode работает в sql тоже)

Ну оно же все на одном инстансе при генерации будет все равно

Ну то есть до того как explode произойдет – этот Seq[Row] должен быть возвращен конкретным инстансом из одного JVM-а

Примерный порог адекватности - 10 лямов рядов на выход из одного таска

Вчера кстати на смартдате очень толково и на пальцах рассказывали почему датасеты более лутше для оптимизатора.

Какой доклад?

Если говорить про оптимизацию, может кто знает, где можно почитать/посмотреть про spark под капотом, что происходит от запуска, до конца работы?
В приоритете на русском, если это видео, сложно на английском что-то из видео воспринимать

О, да, он у меня в списке

Привет всем, может кто объяснить почему как только я добавляю новую зависимость в build.sbt которая касается спарка, и диплою фет джар получаю класс нот фаунд причем на меин класс с которого джоба стартует...

mainClass явно указан в сбт?

а если не указан в сбт, то при сабмите указан?
часто когда фат жарку собирают манифесты трут поэтому мейн не определяется

Почему-то без этих зависимостей все ок. При сабмите указан

Интересно что оно не не может определить какой класс меин, а а четко зная его бросает класс дэф нотфаунд 🤔

Если что запускаю я это на emr