Size: a a a

Архитектура данных

2020 February 25

PD

Phil Delgyado in Архитектура данных
И Хайлоад )
источник

S

Shadilan R16 MU Rostov in Архитектура данных
Без документации, в том числе потоков/процессов/джобов тяжело найти концы, с ходу у меня в документации описание источников таргетов с их спецификой и ответственными и описание алгоритмов обработки от аналитика. Но документация документации рознь. Воду из документации надо выпиливать в госах в документации много воды (
источник

e

er@essbase.ru in Архитектура данных
В общем я как ленивый ИТ жду что кто нибудь за меня все сделает (ну или что нибудь , как это стало сейчас модно)
источник

PG

Paul Golubev in Архитектура данных
Fedor Lavrentyev
У меня есть кое-какие размышления про документирование хранилища. На каком митапе их правильно рассказывать? :)
Есть всякие data bigdata конфы, но они в основном бизнесовые. Можно там, где про data governance есть тематика
источник

PG

Paul Golubev in Архитектура данных
Ну и можешь сам организовать митап)
источник

PG

Paul Golubev in Архитектура данных
Типа "знания о данных"
источник

PG

Paul Golubev in Архитектура данных
Я б тоже какой-нибудь спич задвинул на эту тему
источник
2020 February 26

e

er@essbase.ru in Архитектура данных
вот вам еще одна БД в коллекцию ))
https://eng.uber.com/aresdb/
источник
2020 February 27

e

er@essbase.ru in Архитектура данных
Народ , а кто нибудь использует MongoDB  для целей хранилища ?
источник

e

er@essbase.ru in Архитектура данных
Phil Delgyado
Спасибо. А можете посоветовать обзорные статьи?
источник

PG

Paul Golubev in Архитектура данных
er@essbase.ru
Народ , а кто нибудь использует MongoDB  для целей хранилища ?
С целью анализа вряд-ли, все таки sql и какая-то унификация нормализация более подходит. Монга имхо хороша для некоторых типов приложений
источник

PG

Paul Golubev in Архитектура данных
У меня вопрос к реляционщикам больше - может ли быть оправдана eav в хранилищах. Какие причины? Я имею ввиду не наследование от источников, а целенаправленное создание
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
Не по феншую...
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
Хранилище строят по какой-то модели(-ям), eav не в одну концепцию не входит и только усложняет структуру данных
источник

PG

Paul Golubev in Архитектура данных
Допустим, на входе получили eav, данные там изменчивы. Как понять, что 70% мы оттуда в нашу модель уже забрали, а остальное нет? Куда логировать, как выявлять новые атрибуты, чтобы хотя бы бэклог генерировать. Бест практис есть?
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
Без понятия
источник

VS

Vladislav 👻 Shishkov in Архитектура данных
Как только слышу eav, сразу большая тема для разговора, а нужен ли он. Пока был не нужен 😬
источник

FL

Fedor Lavrentyev in Архитектура данных
Paul Golubev
Допустим, на входе получили eav, данные там изменчивы. Как понять, что 70% мы оттуда в нашу модель уже забрали, а остальное нет? Куда логировать, как выявлять новые атрибуты, чтобы хотя бы бэклог генерировать. Бест практис есть?
Из EAV можно автогенерить якорные атрибуты
источник

FL

Fedor Lavrentyev in Архитектура данных
Неизвестные атрибуты надо на стадии захвата обновлений выявлять
источник

FL

Fedor Lavrentyev in Архитектура данных
Неважно, EAVные ли, строго схемные ли
источник