AS
а так?
Size: a a a
2021 July 02
AS
ну и чтоб совсем вопрос закрыть насчет перекоса
N
Что вы пытаетесь доказать?
N
Вы привели какую-то картинку без подробностей и утверждение что дата-инженеры у вас говно.
Ну ок.
Ну ок.
N
Я лишь выдвинул свои предположения
AS
с чего вы взяли что я что то доказываю? я пришел поплакаться о чем почти сразу же сообщил.
а вы пришли ко мне и заявили что мое нытье необосновано потому то и потому то, на что я вам привел контраргумент доказывающий что то то и то то неверное предположение
все
а вы пришли ко мне и заявили что мое нытье необосновано потому то и потому то, на что я вам привел контраргумент доказывающий что то то и то то неверное предположение
все
N
А в чем проблема была в итоге? Вы разобрались?
AZ
10-20 гигов ни о чем тоже, обычно всё-таки смотрим на джоины много-на-много, а такие на объеме 10-20 гигов могут быть только если не эквиджоины где-то появляются
N
Я понимаю, если бы вы решили эту проблему и указали на конкретные ошибки своим коллегам. И нам показали как не нужно делать. А так выглядит не очень если честно.
N
Это помогло в итоге?
N
Просто это не всегда помогает, а иногда даже усугубляет проблему
AS
пока не знаю, это быстро не сделать.
но корень проблемы изначально в "лень делать процесс для материализации какого то представления данных, херанем вьюху" а потому вьюху поверх вьюхи, а потом новый ELT процесс использующий вьюхи как источник данных...
но корень проблемы изначально в "лень делать процесс для материализации какого то представления данных, херанем вьюху" а потому вьюху поверх вьюхи, а потом новый ELT процесс использующий вьюхи как источник данных...
N
Ничего не вижу плохого во вью. Более того, мы добивались неплохого ускорения запросов избавляясь от лишних записей на диск (читай использовали вью). И планы выполнения у нас бывали похуже.
Слишком мало информации, и слишком резкие утверждения - это вам пытаются сказать.
Ничего личного.
Слишком мало информации, и слишком резкие утверждения - это вам пытаются сказать.
Ничего личного.
AS
я же пишу не про все вью в принципе, а про случаи когда они бездумно используются имея внутри тяжелые запросы
AS
и привожу конкретный пример, где на очень малом объеме данных и с приличным количество ресурсов запрос не может выполнится в разумное время
не понимаю какая еще информация нужна
не понимаю какая еще информация нужна
A
А как можно влиять на эту картинку если допустим надо много источников собрать сделать из них витрину?
A
Для спарка это нормально, я смотрел как то план и он один и то же источник зачитывал 2 раза, потому что он джойнился позже с разными таблицами дальше
Он решил чтобы быстрее его 2 раза прочесть нежели 1 результат потом переиспользовать
Он решил чтобы быстрее его 2 раза прочесть нежели 1 результат потом переиспользовать
AS
а спарк может переиспользовать вьюхи (без ручных манипуляций)?
если я скажем напишу
select * from xxx
join xxx
, где ххх - вью, oн xxx прочитает один раз?
если я скажем напишу
select * from xxx
join xxx
, где ххх - вью, oн xxx прочитает один раз?
A
Результат закешировать можно