A
зачем вообще КХ в этой схеме - можно поверх системы источника все строить и данные перегружать никуда не нужно.
Size: a a a
2021 September 29
BT
нельзя :)
A
тогда Excel и тоже будет счастье.
BT
и гугль докс. кому-то вполне подходит.
D
а разве в эпоху дата лейков так кто-то еще делает ? ну кроме как на террадате ? я не понтуюсь, но вроде все новомодное, начиная со спарка, заканчивая КХ не любит же джойны. и хадуп, уже не новомодный, не любит
AZ
Извините, мне просто кажется вы не полностью понимаете в чем основные преимущества инмоновской архитектуры с зависимыми витринами, мб вам кажется что это лишнее, но по моему опыту начиная с определённого масштаба независимые витрины становятся абсолютно неуправляемым снежным комом
AZ
DV, anchor modeling, помянутый activity stream - это все продолжение этих идей
BT
ключевое тут "начиная с определённого масштаба". Да, есть в мире компании, в которых работает менее 1000 сотрудников, и они никогда не поставят террадату и прочие.
D
ну да, но там же джойн на джойне, джойном погоняет. разве такое взлетит на databriks и его spark ?
A
джойты то системы могут не любить, но когда у нас большая номенклатура систем-источников и данные там разрознены, то как без джойнов?
AZ
Они все переписали на кресты и симд ровно чтобы такое заработало)
BT
совсем без джойнов - никак. Но надо же знать меру!
A
ну если и данных у них толком нет (я про номенклатуру), то для них это будет лишним.
D
ну как, не увлекаться нормализацией
AZ
Я с этим не спорю, вы же предлагали закапывать инмона без оговорок про масштабы
BT
ну все-таки я предлагал инмона закапывать, а не DV/anchor ?
D
а чего это вдруг им кресты помогут ? шафлинг никуда не делся, какая разница кресты это или jvm делает, успеха то не будет
ЕГ
В спарке джойны работают без проблем, просто долго🤷♂
D
я первые три года со спраком в это верил
A
вот у вас есть 3 разные системы в одной из них продажи с офлайн магазинов, в другой оптовые, в 3й интернет. У всех разные атрибуты. Как все будете сводить воедино, еще и с общей схемой? Чтобы, например со стороны BI им было удобно все анализировать.