PD
И Хайлоад )
Size: a a a
2020 February 25
S
Без документации, в том числе потоков/процессов/джобов тяжело найти концы, с ходу у меня в документации описание источников таргетов с их спецификой и ответственными и описание алгоритмов обработки от аналитика. Но документация документации рознь. Воду из документации надо выпиливать в госах в документации много воды (
e
В общем я как ленивый ИТ жду что кто нибудь за меня все сделает (ну или что нибудь , как это стало сейчас модно)
PG
У меня есть кое-какие размышления про документирование хранилища. На каком митапе их правильно рассказывать? :)
Есть всякие data bigdata конфы, но они в основном бизнесовые. Можно там, где про data governance есть тематика
PG
Ну и можешь сам организовать митап)
PG
Типа "знания о данных"
PG
Я б тоже какой-нибудь спич задвинул на эту тему
2020 February 26
e
2020 February 27
e
Народ , а кто нибудь использует MongoDB для целей хранилища ?
e
Спасибо. А можете посоветовать обзорные статьи?
PG
Народ , а кто нибудь использует MongoDB для целей хранилища ?
С целью анализа вряд-ли, все таки sql и какая-то унификация нормализация более подходит. Монга имхо хороша для некоторых типов приложений
PG
У меня вопрос к реляционщикам больше - может ли быть оправдана eav в хранилищах. Какие причины? Я имею ввиду не наследование от источников, а целенаправленное создание
VS
Не по феншую...
VS
Хранилище строят по какой-то модели(-ям), eav не в одну концепцию не входит и только усложняет структуру данных
PG
Допустим, на входе получили eav, данные там изменчивы. Как понять, что 70% мы оттуда в нашу модель уже забрали, а остальное нет? Куда логировать, как выявлять новые атрибуты, чтобы хотя бы бэклог генерировать. Бест практис есть?
VS
Без понятия
VS
Как только слышу eav, сразу большая тема для разговора, а нужен ли он. Пока был не нужен 😬
FL
Допустим, на входе получили eav, данные там изменчивы. Как понять, что 70% мы оттуда в нашу модель уже забрали, а остальное нет? Куда логировать, как выявлять новые атрибуты, чтобы хотя бы бэклог генерировать. Бест практис есть?
Из EAV можно автогенерить якорные атрибуты
FL
Неизвестные атрибуты надо на стадии захвата обновлений выявлять
FL
Неважно, EAVные ли, строго схемные ли