k
странно, что ничего не поменялось 🤔🤔
Size: a a a
2021 December 24
k
нужен minimal example какой-нибудь тогда, я бы сказал
k
чтоб можно было из чатика скопировать и запустить у себя
ИТ
ок, попробую подготовить
ИТ
извиняюсь, вот как раз кеш помог. Спасибо!
изначальный план https://paste.ofcode.org/5i7WREPPYrctWkCuWZZhrM
уже с кешом https://paste.ofcode.org/nixx9juR94GsxUHXXsNxQg как раз появился InMemoryRelation
изначальный план https://paste.ofcode.org/5i7WREPPYrctWkCuWZZhrM
уже с кешом https://paste.ofcode.org/nixx9juR94GsxUHXXsNxQg как раз появился InMemoryRelation
ИТ
я почему то думал что кеш работает только для последующих action запросов но не внутри текущего, возможно мне как и некоторым полезно будет почитать как работает кеш менеджер в спарке https://towardsdatascience.com/best-practices-for-caching-in-spark-sql-b22fb0f02d34
k
спасибо за линки. план поменялся, а стало ли на самом деле быстрее?
k
а то ведь, бывает, сохранить промежуточную дату на диске -> быстрее получается вычислить что-то по ней.
ИТ
сейчас проверяю
k
паркет - офигенный формат потому что
2021 December 25
C
2021 December 26
NN
Ребят, а кто-нить тестил обстоятельно AQE?
Надёжно работает, хороший буст даёт?
У меня чёт времени на это не было, и интересно, как оно сейчас.
Надёжно работает, хороший буст даёт?
У меня чёт времени на это не было, и интересно, как оно сейчас.
A
Местами у нас получше числа получились, но тояно цифры нужно искать
ЕГ
А ушли баги с отрицательным количеством оставшихся тасков после преемпшена экзекуторов?
A
Не замечал таких, поищу
ЕГ
Надо чтоб прям жёсткий был преемпшен
ЕГ
А спарк какой?
ЕГ
3.0 или выше?
A
3.2, у нас уже процентов 85 джобов переехали
A
Там адаптив уже по дефолт