Size: a a a

2021 May 03

VS

Vladislav 👻 Shishkov... in Data Engineers
Зайди в чат, спроси там
источник

NN

No Name in Data Engineers
Мне помнится, что там через некий промежуток времени коллектор включается и трет забродкащенное в случае, если оно оказалось не востребованно. Т.е., вроде как, другой стейдж спокойно может воспользоваться, если успеет. А про то, поможет ли в этом случае кэш - не знаю, не уверен, мне кажется, что это разные механизмы.
источник

DT

Dmitry Titov in Data Engineers
Прямо не отказывались.
Но не стоит в планах на этот год.

Сейчас активно пилятся проекции, short circuit, оптимизации основанные на constraint и гипотезах.

Ну и всякие улучшалки для джоинов в планах на этот год
источник

DT

Dmitry Titov in Data Engineers
Ну и пилится очевидно то, что нужно конкретно яндексу и наиболее ожидаемые фичи для коммьюнити.
Если кому то кровь из носа будет нужен оптимизатор, то никто не будет против если он сам его таки запилят.
источник

DT

Dmitry Titov in Data Engineers
А по поводу вертики, знаю что один из первых крупных пользователей кх вне яндекса собирается выкинуть оставшуюся вертику в ближайшие месяцы.
источник

DT

Dmitry Titov in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
Спасибо! Мне там в чатике ответили тож
источник

AZ

Anton Zadorozhniy in Data Engineers
Я слышал про победное шествие КХ от платных аналитиков рынка, но у них часто картина перекошенная (у этих в сторону Китая)
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Один из первых крупных уже давно выкинул, вот только все эти выкидывания делаются в рамках кликстрима
источник

e

er@essbase.ru in Data Engineers
Ну если все пихнуть в одну широкую таблицу , т.е. по сути создать molap на sql  , то ch очень хорош в агрегатах. Логично к нему сейчас прикрутить mdx , где так же нет джойнов, но есть всякие хитрые отчётные подвыборки
источник

T

T in Data Engineers
Да походу трёт я нашел мэил лист спарка где люди тоже жалуется на это поведение
источник

NN

No Name in Data Engineers
Ну протесть просто, эксплейны посмотри, это ж быстро. И расскажи потом, интересно)
источник

T

T in Data Engineers
Так я и так в UI вижу что он каждый раз броткастит
источник

NN

No Name in Data Engineers
В смысле, повторно? Даже когда не просишь, или что?
источник

e

er@essbase.ru in Data Engineers
источник

T

T in Data Engineers
Смотри у меня оч проста джоба котора готовит 30 таблиц. Каждая из них джойнится с определенной таблицей котора используется для семплинга. В ней только ид вот ее броткащу. Получается она броткастится 30 раз и это как то тупо
источник

NN

No Name in Data Engineers
А...типа, ты всего один раз попросил это сделать, но она при каждом джойне это делает?
источник

T

T in Data Engineers
Ага
источник

T

T in Data Engineers
Спарк 3.0.1 крутится в кубере если что
источник

NN

No Name in Data Engineers
Мб просто на разные ноды потихоньку подтягивает?
источник