Size: a a a

2020 February 15

AZ

Anton Zadorozhniy in Data Engineers
Сюткин
Недоделать и начать сначала 🤣
Это почему так? Agile архитектура во много крат более строгая чем какая нибудь классика по тогафу
источник

АЖ

Андрей Жуков in Data Engineers
Сюткин
Я надеюсь у вас там самолёты так не летают?)
ну, у нас и архитектура все-таки не так делается :)
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
Это ортогональные вопросы, демократизация данных не связана с интерпретацией данных; тут скорее очередной посыл «за все хорошее против всего плохого», просто монетизирующий архитектурную и маркетинговую популярность микросервисов и сервис мэш
А можно конкретнее, почему это ортогональные вопросы?
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
Там речь скорее про децентрализацию задач интеграции/историзации данных, каждый домен пусть сам это решает, но внутри домена вполне допустимы старорежимные лейки, хранилища и витрины
кимбалл же, не?
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
А можно конкретнее, почему это ортогональные вопросы?
Вы можете дать доступ к данным от источников «как есть» и пусть каждый потребитель сам понимает как их интегрировать, а можете консолидировать источники или открывать пользователям уже интегрированные домены; демократизация - это политический и операционный вопрос, интеграция данных - архитектурный
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
Вы можете дать доступ к данным от источников «как есть» и пусть каждый потребитель сам понимает как их интегрировать, а можете консолидировать источники или открывать пользователям уже интегрированные домены; демократизация - это политический и операционный вопрос, интеграция данных - архитектурный
мне стало интересно, как при такой демократизации вы собираетесь организовать интеграцию данных, которая будет равнозначна для каждого потребителя?
источник

VS

Vladislav 👻 Shishkov in Data Engineers
попахивает хреновым хранилищем из 00-ых, если честно...
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
кимбалл же, не?
Да, это очень похоже на классические независимые витрины,  строго привязанные к домену; ничто не ново под луной
источник

VS

Vladislav 👻 Shishkov in Data Engineers
а в двойне интересно, как вы заставите и выделите ресурсы на интеграцию источников в рамках источника
источник

VS

Vladislav 👻 Shishkov in Data Engineers
я же правильно понимаю, что вы предлагает каждой команде со своим источником прикрутить свое хранилище?
источник

АЖ

Андрей Жуков in Data Engineers
Vladislav 👻 Shishkov
я же правильно понимаю, что вы предлагает каждой команде со своим источником прикрутить свое хранилище?
Скорее,  это то,  чего я опасаюсь в реализации дата меша
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
мне стало интересно, как при такой демократизации вы собираетесь организовать интеграцию данных, которая будет равнозначна для каждого потребителя?
Ну в конкретном примере у моего клиента CRM системы мульти банка были консолидированы и выдают единые интерфейсы другим источникам и и аналитике, в результате идентификаторы клиента и весь профиль един по всей корпорации
источник

MV

Mitya Volodin in Data Engineers
Vladislav 👻 Shishkov
Стоит заметить, что тот самый гибрид анхора и дата волта - это тот же гибрид кимбелла и инмона, но в более удобной, с точки зрения бизнеса, модели нормализации сателлитов...
Я вот не очень понял это утверждение. Как-то настолько оно для меня непонятно, что хочется написать «категорически несогласен». Оно просто как минимум нивелирует всю работу Линдштеда и Рёнбека, приписывая их заслуги двум евангелистам, которым так и не удалось замкнуть свою методологию на универсальный случай.
источник

N

Nikolay in Data Engineers
Это похоже на какие то концептупльно - словесные войны. Во многих местах , где я видел есть просто лэйк на hdfs. Есть область сырых данных и потом данные из нее перекладывают уже в какое то другое место в виде , удобном для конечного использования. И все .
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Zadorozhniy
Ну в конкретном примере у моего клиента CRM системы мульти банка были консолидированы и выдают единые интерфейсы другим источникам и и аналитике, в результате идентификаторы клиента и весь профиль един по всей корпорации
это ESB называется
источник

MV

Mitya Volodin in Data Engineers
Для меня инмон и dv - бесконечно далеки друг от друга по методолгиям. Кроме третьей нормальной формы и трех слоев там очень фундаментальные расхождения во взглядах на моделирование
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Mitya Volodin
Я вот не очень понял это утверждение. Как-то настолько оно для меня непонятно, что хочется написать «категорически несогласен». Оно просто как минимум нивелирует всю работу Линдштеда и Рёнбека, приписывая их заслуги двум евангелистам, которым так и не удалось замкнуть свою методологию на универсальный случай.
ну это как сравнение вертикальной и горизонтальной черты, в конечном счете - это равнозначные линии
источник

MV

Mitya Volodin in Data Engineers
Ну окей, не буду углублятся :) лучше на каком-нибудь митапе обсудим
источник

VS

Vladislav 👻 Shishkov in Data Engineers
👍🏻
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
я же правильно понимаю, что вы предлагает каждой команде со своим источником прикрутить свое хранилище?
Это С-левел решение, требует серьёзной решимости и железной дисциплины, но такие случаи не единичны.. просто в такой конфигурации дата-контракт домена рассматривается как набор бизнес-требований и защищается архитектурным бордом и CDO
источник