AZ
у Амундсена (и его друзей типа нетфликс метакэт, или гугловый дата каталог) есть своя нормальная ниша - дата дискавери для ситизен сатанистов, чтобы можно было поискать и запросить "а что есть в нашем хоронилище данных?"
Size: a a a
2019 November 20
AZ
но если у вас compliance lineage - это заплаточка не про вас шита
DM
что значит "ситизен сатанист"?
AZ
извините, это такой энтерпрайз спик для "добровольцы сатанисты, или пытающиеся ими стать из обычных аналитиков" https://www.forbes.com/sites/stevebanker/2018/01/19/the-citizen-data-scientist/
M
по началу все ок, задача текущая решена
но с апдейтами начнется, что там кишочки подправили у оригинала, или добавили то ради чего форк делался, но выглядит оно совсем по другому
но с апдейтами начнется, что там кишочки подправили у оригинала, или добавили то ради чего форк делался, но выглядит оно совсем по другому
Это все хорошие и правильные поинты, но пока выглядит так, что в нужных местах ребята постарались через всякие прокси api и отдельные сервисы изолировать компоненты, которые могут кастомизироваться и сделать типа ортогональную архитектуру. Но это все конечно предстоит покопать и потестить.
M
но если у вас compliance lineage - это заплаточка не про вас шита
Не, это не нужно. Скорее история про data democracy
AZ
Mikhail
Не, это не нужно. Скорее история про data democracy
тогда берите, там из косяков только прибитость к "таблицам", если у вас есть просто датасеты в авро/паркете/орке в объектном сторадже - надо будет их велосипедить
DM
Mikhail
Это все хорошие и правильные поинты, но пока выглядит так, что в нужных местах ребята постарались через всякие прокси api и отдельные сервисы изолировать компоненты, которые могут кастомизироваться и сделать типа ортогональную архитектуру. Но это все конечно предстоит покопать и потестить.
если оно опенсорс, то лучше пообщаться с авторами и возможно контрибутить туда
AZ
если вы на облаке - проще взять менеджд альтернативы вроде глу или гуглового каталога
AZ
гугловый каталог правда до сих пор не умеет описывать датасеты в GCS, но у вас скорее всего в BigQuery все, там все работает
M
Не, свой ЦОД, к сожалению (или к счастью). Из того что за последний год смотрели в опенсорс (metacat, wherehows, databook, marquez) Amundsen показался наиболее адекватным.
AZ
Из общих проблем этих инструментов - наплевательское отношение к защите данных; они не интегрируются с полиси движками (и показывают сатанисту таблицы к которым у него нет доступа), и не умеют имперсонировать пользователя при просмотре данных через него
AZ
Я например делал просто разные инстансы в результате, для каждой команды свой
M
Из общих проблем этих инструментов - наплевательское отношение к защите данных; они не интегрируются с полиси движками (и показывают сатанисту таблицы к которым у него нет доступа), и не умеют имперсонировать пользователя при просмотре данных через него
Да, вот это серьезный нерешённый косяк
РА
привет, жители чата, подскажите кто-то пользовался опцией колночной БД и шардинга в Oracle 12c?
РА
каковы впечатления? насколько зрелое решение?
РА
ну типа оно также хорошо работает, обычный Oracle?
N
10 лет работал с Oracle DB, OEM, BI, Fusion Middleware, ни разу не сталкивался, чтобы что-то заявленное не работало или работало через жопу. С очень большой веротностью все с ним хорошо и зрело.
СХ
привет, жители чата, подскажите кто-то пользовался опцией колночной БД и шардинга в Oracle 12c?
ты про ораклбигдата ?
СХ
если про него, то всё супер