Size: a a a

2019 September 24

A

Alex in Data Engineers
хотя может и не с партициями, но ключей на указанную таблицу в PARTITION_KEY_VALS как раз примерно столько
источник

A

Alex in Data Engineers
Anton Zadorozhniy
наши тоже ничего не выдали наружу, теперь все в QG живет
там выдали патч, но он завис в процессе мержа в апаче ….
источник

A

Alex in Data Engineers
вот и интересно стало кто может какие велелые индексты строит или ещё как патчит
источник

A

Alex in Data Engineers
сетасторем постргя выступает
источник

ЕГ

Евгений Глотов in Data Engineers
А откуда столько партиций?
источник

ЕГ

Евгений Глотов in Data Engineers
Несколько уровней?
источник

AZ

Anton Zadorozhniy in Data Engineers
похоже что проблема именно на стадии парсинга запроса, так что только глубокий форк видимо, с обновлением схемы и запросов
источник

AZ

Anton Zadorozhniy in Data Engineers
как припарку можно попробовать поискать тачку с более быстрым камнем, я видел у людей например jenkins тачки на разогнанных консьюмерских камнях :)
источник

A

Alex in Data Engineers
Евгений Глотов
Несколько уровней?
да
источник

AZ

Anton Zadorozhniy in Data Engineers
а так еще одна припарка которую мы используем для других проблем - разные тейблспейсы для баз / таблиц / индексов, если есть в доступе какие-нибудь золотые ССД то отлично помогает
источник

A

Alex in Data Engineers
Anton Zadorozhniy
похоже что проблема именно на стадии парсинга запроса, так что только глубокий форк видимо, с обновлением схемы и запросов
https://gist.github.com/xhumanoid/6a570e402ff91426950ef10f65b4abf8

что-то вроде этого треша, только тут еще не самый большой
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
https://gist.github.com/xhumanoid/6a570e402ff91426950ef10f65b4abf8

что-то вроде этого треша, только тут еще не самый большой
explain analyze?
источник

A

Alex in Data Engineers
все вот в последнем фильтре и проводит
источник

A

Alex in Data Engineers
где where и вагон условий
источник

A

Alex in Data Engineers
по PART_KEY_VAL индексов нету да и не построить их толком из-за повсеместных кастов
источник

AZ

Anton Zadorozhniy in Data Engineers
так а что показывает explain analyze?
источник

AZ

Anton Zadorozhniy in Data Engineers
в PEV загнать поглядеть
источник

A

Alex in Data Engineers
index scan для джойна и потом filter по длинному длинному where
и вот эта часть съедает всё время

первые джойны отрабатывают миллисекунды
источник

A

Alex in Data Engineers
ок, спасибо, еще потыкаю с pev отдельно
источник

AZ

Anton Zadorozhniy in Data Engineers
ну это скорее всего в один поток, так что да, либо переписывать либо, если какая-то плохонькая машинка, поместить на 4ггц геймер писи :)
источник