ЕГ
Ему нужно до папки достучаться, чтобы сделать лист файлс
там данные за год
внутри партиции по дням
внутри дня ещё штук 10-12 партиций
внутри партиции файлы
Size: a a a
2021 September 07
ЕГ
Сколько всего в итоге партиций?
ЕГ
Овер9000?
OI
1*280*10
ну примерно тыщи 3
но я соптимизировал! раньше было рили 9к партиций))
ну примерно тыщи 3
но я соптимизировал! раньше было рили 9к партиций))
AE
ну это ни о чём
ЕГ
Есть вариант читать партиции не все, а типа part_col={val1,val2,val3} ?
AE
где-то чё-то не то происходит на драйвере?
ЕГ
Бюджетно фильтрануть
OI
есть, конечно) просто такой вот легаси
одна из первых оптимизаций
Прост ща очень сильно просело про времени работы
одна из первых оптимизаций
Прост ща очень сильно просело про времени работы
OI
да вот хз, в джобе ничего не менялось
А
посмотри thread dump у драйвера на вкладке executors
AE
^ это хороший совет
AE
чтобы понять чё реально делает драйвер всё это время
ЕГ
А мёржсхема включён?
А
еще можно попробовать flame graph построить для процесса https://github.com/brendangregg/FlameGraph https://github.com/jvm-profiling-tools/perf-map-agent
OI
спустя час появились стеджи и план
чёт бред какой-то
чёт бред какой-то
OI
у драйвера в треде вот такая красота
A
Это норм