Size: a a a

2020 February 15

N

Nikolay in Data Engineers
Да и система часто определят как  надо сложить данные. Тот же КХ ну скажем не очень хорошо работает с джойнами т.к в Яндекс метрики их нет и они не развивают этот функционал. Поэтому стараемся по возможности делать широкие таблицы
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Nikolay
Да и система часто определят как  надо сложить данные. Тот же КХ ну скажем не очень хорошо работает с джойнами т.к в Яндекс метрики их нет и они не развивают этот функционал. Поэтому стараемся по возможности делать широкие таблицы
Кх не про хранилище вообще
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
это ESB называется
ESB это скорее когда ещё логика бизнес процессов в шине живет, но смысл похож, да, SOA, ESB - это все вокруг этого
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
ESB это скорее когда ещё логика бизнес процессов в шине живет, но смысл похож, да, SOA, ESB - это все вокруг этого
Как без логики, когда надо интеграцию с соседним источником?
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
Как без логики, когда надо интеграцию с соседним источником?
Сейчас шины тупые, логика в сервисах которые контролируются самим доменом
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
Это С-левел решение, требует серьёзной решимости и железной дисциплины, но такие случаи не единичны.. просто в такой конфигурации дата-контракт домена рассматривается как набор бизнес-требований и защищается архитектурным бордом и CDO
Это требует овер людей и денег, не говоря уже про сложности интеграции для последующей демократизации
источник

AZ

Anton Zadorozhniy in Data Engineers
Как по мне это просто детали реализации
источник

N

Nikolay in Data Engineers
КХ не про хранилище  ,а ГП про хранилище ? Если в нас есть КХ и мы в нем храним данные ... Что же тогда у нас ?
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Nikolay
КХ не про хранилище  ,а ГП про хранилище ? Если в нас есть КХ и мы в нем храним данные ... Что же тогда у нас ?
Это аналитика
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
Сейчас шины тупые, логика в сервисах которые контролируются самим доменом
Поэтому многие, кто делают хранилище, сами запускают esb по своим демократическим требованиям, чтобы потом легко интегрироваться. Именно поэтому я не понял, почему это ортогонально...
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
Это требует овер людей и денег, не говоря уже про сложности интеграции для последующей демократизации
Обычные хранилища тоже не бесплатные, особенно если каждый источник это hostile source и откровенно саботирует тех кто делает аналитику.. идея в том чтобы размазать работу интеграции по доменам, оставив аналитике только консолидацию и местами историзацию
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
Обычные хранилища тоже не бесплатные, особенно если каждый источник это hostile source и откровенно саботирует тех кто делает аналитику.. идея в том чтобы размазать работу интеграции по доменам, оставив аналитике только консолидацию и местами историзацию
Прям на источнике?
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
Поэтому многие, кто делают хранилище, сами запускают esb по своим демократическим требованиям, чтобы потом легко интегрироваться. Именно поэтому я не понял, почему это ортогонально...
Ортогональность не между хранилищем и демократизацией, а между интеграцией данных и демократизацией.. я видел полно ХД которые не делают интеграцию, и они даже в каком-то виде успешные
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
Прям на источнике?
Что прям на источнике?
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
Ортогональность не между хранилищем и демократизацией, а между интеграцией данных и демократизацией.. я видел полно ХД которые не делают интеграцию, и они даже в каком-то виде успешные
Мне прям стало интересно, что же по вашему интеграция, если без нее может существовать хд?
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
Что прям на источнике?
Домены с историей и консолидацией, как вы написали
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
Мне прям стало интересно, что же по вашему интеграция, если без нее может существовать хд?
в самом упрощенном виде интеграция - это укладывания в единую модель, связывание сущностей из разных источников и предметных областей друг с другом; например часто можно видеть ситуацию когда хранилище интегрирует данные каждого источника внутри, но не интегрирует данные разных источников (кроме мб календаря), и получается что там не одно, а много хранилищ (как раз датамеш, только с другой структурой собственности), а консолидированное хранилище это вообще отдельная система :) или когда данные уже в витринах выставляются пользователям без ссылочной целостности, когда модель одна, но каждый источник имеет отдельную схему (в детальном слое!) со своей копией структуры, и так дальше
источник

AZ

Anton Zadorozhniy in Data Engineers
(я первое хранилище помогал делать в 2002-ом, повидал всякого)
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
Домены с историей и консолидацией, как вы написали
ну физически там может быть много систем, например в том примере с CRM там у домена есть пара операционных систем, МДМ и даталейк для событий, выставляют они как раз МДМ и даталейк
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Понятно, пускай это виденье у вас останется
источник