Size: a a a

Архитектура данных

2020 June 10

VS

Vladislav 👻 Shishkov... in Архитектура данных
можно и без агрегата, просто у меня этого бизнес не требовал
источник

Н

Николай in Архитектура данных
а место?
источник

VS

Vladislav 👻 Shishkov... in Архитектура данных
Николай
хранить или нет первичку логов7
я не хранил, источник уже был агрегатом логов и я всегда мог от туда взять и пересчетать
источник

VS

Vladislav 👻 Shishkov... in Архитектура данных
Николай
а место?
если есть требование, то и место надо выделять
источник

VS

Vladislav 👻 Shishkov... in Архитектура данных
источник

Н

Николай in Архитектура данных
Влад - туплю. согласен.
источник

Н

Николай in Архитектура данных
если есть запрос от бизнеса - то и место тоже будет
источник

A

Alexander in Архитектура данных
да, и пикантности нашей ситуации придает еще тот факт, что из основного источника данные приезжают в виде логов (append-only таблиц). так уж получилось)
источник

Н

Николай in Архитектура данных
Александр, по вашему вопросу
источник

Н

Николай in Архитектура данных
смотрите решение требующзее меньше всего геморроя для поддержки
источник

Н

Николай in Архитектура данных
прикиньте, что будет при сбое
источник

Н

Николай in Архитектура данных
в конечном счёте - сделайте для витрин - кимбалла
источник

A

Alexander in Архитектура данных
Николай, спасибо)
источник

A

Alexander in Архитектура данных
в общем, будем искать компромисс
источник

VS

Vladislav 👻 Shishkov... in Архитектура данных
Alexander
да, и пикантности нашей ситуации придает еще тот факт, что из основного источника данные приезжают в виде логов (append-only таблиц). так уж получилось)
с точки зрения модели, ничего не меняется, или вас смутило, что можно было бы "на изях" положить сразу в raw DV?
источник

A

Alexander in Архитектура данных
смутило только то, что строить data vault над data vault  - это какое-то очень странное приключение. Но есть пожелание (читай требование) от бизнеса приземлять данные в raw dv как можно в более близком формате к системе источнику. но отчетность на такой модели не построить
источник

VS

Vladislav 👻 Shishkov... in Архитектура данных
тогда второй вариант ваш выбор наверно
источник

A

Alexander in Архитектура данных
Владислав, за это и "топит" руководство. но меня смущает, что получается 2 data vault. Масло масляное получается. Вы встречали в практике такие решения?
источник

VS

Vladislav 👻 Shishkov... in Архитектура данных
отдалено похожее да, но с другой стороны, не называйте raw DV именно DV, назовите его stage 😬
источник

A

Alexander in Архитектура данных
так по факту и получается, да
источник