Size: a a a

2020 February 16

UD

Uncel Duk in Data Engineers
Просто хз когда там проснутся спарки и прочие оззи, а у меня пунктик, что хорошая инфраструктура должна быть незаметной ( т.е. новый кластер не ломает на корню привычки пользователей )
источник

AZ

Anton Zadorozhniy in Data Engineers
Uncel Duk
Просто хз когда там проснутся спарки и прочие оззи, а у меня пунктик, что хорошая инфраструктура должна быть незаметной ( т.е. новый кластер не ломает на корню привычки пользователей )
2.8, 2.9 и 2.10 все активные, 2.7 была объявлена EOL
источник
2020 February 17

А

Алексей in Data Engineers
К теме про datavault, я правильно понимаю, что там используется сильно нормализированные структуры? Насколько это применимо для хадупа и колоночных бд?
источник

DZ

Dmitry Zuev in Data Engineers
что такое хадуп вашем понимании?
источник

N

Nikolay in Data Engineers
Говорим хадуп - подразумеваем hdfs
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Алексей
К теме про datavault, я правильно понимаю, что там используется сильно нормализированные структуры? Насколько это применимо для хадупа и колоночных бд?
для колоночных и применимо
источник

А

Алексей in Data Engineers
там же джойнить надо будет кучу этих таблиц? или итоговые витрины широкие все равно остаются?
источник

AP

Anton Polyakov in Data Engineers
Vladislav 👻 Shishkov
для колоночных и применимо
а простыми словами - зачем в колоночных бд вообще высокая нормализация?
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Polyakov
а простыми словами - зачем в колоночных бд вообще высокая нормализация?
с точки зрения датаволта, не суть, где использовать в реляционках или в колонках, но с точки зрения профита, на колонке это заходит в разы лучше
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Алексей
там же джойнить надо будет кучу этих таблиц? или итоговые витрины широкие все равно остаются?
для чего джойнить?
источник

А

Алексей in Data Engineers
https://habr.com/ru/post/348188/ ну вот тут к примеру описано как минус - обилие join, чтоб получить итоговую выборку нужно поджойнить все эти хабы, сателиты и ссылки
источник

VS

Vladislav 👻 Shishkov in Data Engineers
а нужна ли вам эта итоговая выборка?
источник

VS

Vladislav 👻 Shishkov in Data Engineers
не путайте dwh и data mart
источник

AP

Anton Polyakov in Data Engineers
Vladislav 👻 Shishkov
для чего джойнить?
допустим в 6нф если хранить данные? высокая нормализация, без джоинов никуда
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Anton Polyakov
допустим в 6нф если хранить данные? высокая нормализация, без джоинов никуда
если вы про анхор, то да, датаволт как раз уменшает эту проблему, именно поэтому и используют аля "гибрид"
источник

N

Nikolay in Data Engineers
Кто нибудь у себя имеет датавольт? Вот что бы в МТС , Мегафон , Сбере и т.д ? Это похоже на сказки скорее
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Nikolay
Кто нибудь у себя имеет датавольт? Вот что бы в МТС , Мегафон , Сбере и т.д ? Это похоже на сказки скорее
имеет
источник

N

Nikolay in Data Engineers
И сколько у вас данных ?
источник

VS

Vladislav 👻 Shishkov in Data Engineers
почти все, кто использует вертику, используют именно такой подход
источник

VS

Vladislav 👻 Shishkov in Data Engineers
Nikolay
И сколько у вас данных ?
спросите у авито
источник