TC
я просто поднял в сворме. У клиента нет денег запускать в клауд-среде дельталейк
Size: a a a
2021 June 05
T
Зависит от того что принято в команде иногда попадается все начистом sql, иногда scala, бывает даже R. В любом случаии знать sql очень полезно
TC
базовый синтаксис такой же. + умеет работать с комплексными структурами данных (списки, словари)
T
OSS delta проигрывает hudi по фичам и комьюнити имхо, почитайте историю чата много раз поднималась эта тема
АР
не туда вопрос, сорян
TC
да, я как нибудь почитаю. только вчера заджойнился просто. пришел сюда просить помощи.
MZ
В проектировании тоже используют?
TC
хммм... все равно странно, при том, что дельта интегрирована в ажур, поддерживается в авсе. Амеры ее любят
TC
при этом еще ранать ее легко
T
Hudi и iceberg тоже есть в Aws, + у Амазона рынок сильно больше чем у azure
T
В проектировании чего?
MZ
Табличных витрин или их нет в этой экосистеме?
TC
не спорю. но если делать все с нуля, и клиент хотел дельталейк, то это экономия ресурсов и тулов - вместо худи использовать дельту. понравился мерж в ней и таймтревел
T
Я не понимаю вашего вопроса, разверните его пожалуйста. Кто используется в проектирование ветрин sql? В контексте спарка?
MZ
Я просто хочу понять как устроена архитектура в экосистеме хадуп в отличие от обычных хранилищ
TC
Архитектура в системе хадуп - это даталейк. Хранилище в варехаусе - это факты, дименшены. Наличие констрейнтов между двумя типами этих таблиц
MZ
А на каких субд это хранилище и даталейк располагается?
TC
В даталейке тоже есть факты и дименшены. Но на прошлом проекте у нас было просто: стейджинг, лэндинг и все уходило в дименшены. При этом реляционных ограничений типа констрейнтов у нас не было. Да и хайв, не помню, чтобы такое умел делать. Особенно если Талица внешние
TC
Спарк и метахранилище в хайве. А описание объектов в хайве хранится обычно в мускуле, посгре. Можно оракл или дб2 прикрутить
TC
То есть данные не в совсем субд хранятся. Интерфейс для доступа к данным ну как в субд.