попробуйте запустить тест с dummy udf. возвращайте константу

может так оказаться, что и не в udf проблема

план по оптимизациям наметил, спасибо)

я, на самом деле, склонен тут согласиться с коллегой - нужно всю app целиком смотреть, из-за спарковской lazyness

без эксперимента с dummy, которая ничего не делает, нет доказательств, что именно этот udf дорогой

да, мысль интересная, попробую в-первую очередь)

отработало за 3 минуты все 186 млн

видимо пишу mapPartitions)

👍👍

вопрос - в делаете сплит по # - то есть, вы перед этим пакуете так в строку все?

да

почему не хотите избежать упаковки и распаковки? сразу array передавать везде, например

Раз дело в долгом первичном вычислении модели и mapPartitions вам помог, можно сделать еще быстрее через transient lazy val pattern - так модель будет считаться только 1 раз на воркер (в случае с mapPartitions - модель считается для каждой партиции).

возможно переделаю

можно пример паттерна

если сериализируется

важное замечание

Добрый день!

Возник вопрос:

делаю запись данных в hive таблицу двумя различными способами:
1) df.write.partitionBy("col1", "col2").mode('overwrite').parquet('path to table data location')
2) df.write.format('parquet').insertInto(table_name, overwrite='True')


Получаю результаты
1) Permission denied
2) OK


С чем это может быть связано? Была единственная мысль - я записывал в другую папку, где у меня не было доступа. но через show create table удостоверился, что location - правильный

Мб кто-то сможет объяснить, в чем разница и когда стоит записывать через файлы , а когда - insertInto table?

переписал на mapPartitions, в итоге с 9 часов, время уменьшилось до 10 минут )) спасибо!