Size: a a a

2021 July 03

rG

rpuropuu Greeg'O'Rii... in Data Engineers
schema или так
источник

NN

No Name in Data Engineers
Это, наверное, означает схема.
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Да. Я понял, но там указано это слово и все. А где структура схемы определяется?
источник

NN

No Name in Data Engineers
Не подскажу.
Тут лучше доки почитайте.
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Спасибо)
источник
2021 July 04

e

er@essbase.ru in Data Engineers
Не знаю было ли это тут уже , но на всякий кину

https://m.habr.com/ru/company/yandex/blog/557140/
источник

e

er@essbase.ru in Data Engineers
источник

NN

No Name in Data Engineers
Вроде в таком виде не было
источник

AZ

Anton Zadorozhniy in Data Engineers
> Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка».
экспертный уровень доклада не располагает к себе даже до клика по ссылке
источник

e

er@essbase.ru in Data Engineers
ну там не формат академического чтения - там опыт построения работающего решения
источник

AZ

Anton Zadorozhniy in Data Engineers
я все понимаю, просто глаз зацепился, обидели дедушку Инмона в первой строке
источник

e

er@essbase.ru in Data Engineers
он это ТОЧНО переживет ))
источник

NN

No Name in Data Engineers
У меня пока так и не получилось понять, как именно нужно проектировать по Инмону.
Правда, я его книгу и не читал, так что это неудивительно, но попытки найти какие-то тезисы не удались. Не знаете, где вкратце можно более-менее конкретное описание подхода найти?
источник

AZ

Anton Zadorozhniy in Data Engineers
Так DV и AM это самые что ни на есть инмоновские архитектуры - сильно нормализованный детальный слой для консолидации/интеграции/историзации, и зависимые витрины (материализованные и логические) которые наполняются из деталек
Я статью выше не читал, но если хорошая - она наверняка рассказывает зачем все это надо
источник

VP

Vitaly Pismarev in Data Engineers
Статья выше скорее даёт понимае когда это надо, а когда не надо
источник

e

er@essbase.ru in Data Engineers
В двух словах без воды , когда строим хранилище для холдинга и нужно скрещивать данные из множества учётных систем для различных бизнесов
источник

AZ

Anton Zadorozhniy in Data Engineers
Не всегда холдинг, но да, чем больше компания и больше номенклатура бизнес-процессов - тем больше выгоды в сильной нормализации деталек
источник

NN

No Name in Data Engineers
О, круто, не знал, откуда ноги растут.
Спасибо!
источник

SK

Serhii Kholodniuk in Data Engineers
Привет ребята. Кто сталкивался с проблемой late arrivals для стриминга ивентов? Интересует варианты для микробатч и риал-тайм стриминга. При условии что задержка ивентов может быть большая, больше пару дней. Может порекомендуете варианты решения данной проблемы?
источник

AM

Artur Mustafin in Data Engineers
привет, а любительский вопрос можно - требуется упорядоченный стриминг, вроде пайплайна, и при этом бфуеризовать где-то данные, пока не придет задержавшийся пассажир? вроде я как раз читал про варианты c kafka, как я понимаю, kafka умеет задерживать консьюмера до некоторого предела, и поддерживает упорядоченный вывод потока (но это не real-time, и для видеосервисов и прочего вряд-ли подойдет)
источник