AZ
Вопрос снимается, раз в серебре по landing то значит как прилетело, видимо ссылки выверяете только в золоте (мне такое тоже ближе)
Size: a a a
2021 March 09
N
А ссылочную целостность вы поддерживаете? В серебре или только в золоте?
На этих всех слоях нет. Ссылочная целостность в задупе/кх не очень-то доступна. Да и особо ссылаться не на что, таблиц мало и они сильно денормализованы.
N
Вот в мастер данных всё по науке, 3нф, целочная ссылостность, индексы, scd и вот это вот всё.
N
Вот в мастер данных всё по науке, 3нф, целочная ссылостность, индексы, scd и вот это вот всё.
Но они и живут в постгре.
ET
даск сырая либа и оч медленная
Кстати, имеет ли смысл использование Dask-а, если код и данные будут скейлится(Ray) на кластер , где оперативная память стоит копейки. Речь идёт не про террабайты, Максы обработка 5-15 гигов временных рядов.
ET
даск сырая либа и оч медленная
Я просто возьму и прочитаю бандуру в несколько гигов, сделаю ray.put(df)
и отправлю считаться.
и отправлю считаться.
C
Наталья Федосова has been banned! Reason: CAS ban.
P
Коллеги, у кого как организован sql поверх s3?
P
Появилось ли что-нибудь новое за 3 года? Или спарк-sql по прежнему в строю?
T
Коллеги, у кого как организован sql поверх s3?
Presto/trino
T
Presto/trino
Афина ещё ок если не много запросов
P
Ну, и кроме импалы
АР
Коллеги, у кого как организован sql поверх s3?
T
Афина ещё ок если не много запросов
Редшифт ещё может в S3 ходить через Спектрум, но это сильно на любителя
R
@renardeinside подскажи плиз хороший гайд про дата архитектуру применительно dbx delta lake)
привет! вот тут очень подробно разбирается вся конструкция и архитектура:
https://www.youtube.com/watch?v=OQv61WY_f88
https://www.youtube.com/watch?v=OQv61WY_f88
V
Мы пилим так.
Бронзовый слой-сырые данные, наваленные в поркет hdfs из кафки и лежащие в формате кафка сообщений, партиции по времени извлечения. Серебряный слой-данные, разобранные по схемам/кейс классам в реляционный вид, поркет, партиции тоже по системному времени.
Золотой слой-какие-то производные от этих данных- агрегаты, очищенные, обогащенные и т.п., живёт в худях и партиционировано по бизнес-датам. Бриллиантовый слой у нас не получился, потому что нету терадаты. Была бы-и иридиевый тоже сделали бы.
Архитектор @ssheremeta
Бронзовый слой-сырые данные, наваленные в поркет hdfs из кафки и лежащие в формате кафка сообщений, партиции по времени извлечения. Серебряный слой-данные, разобранные по схемам/кейс классам в реляционный вид, поркет, партиции тоже по системному времени.
Золотой слой-какие-то производные от этих данных- агрегаты, очищенные, обогащенные и т.п., живёт в худях и партиционировано по бизнес-датам. Бриллиантовый слой у нас не получился, потому что нету терадаты. Была бы-и иридиевый тоже сделали бы.
Архитектор @ssheremeta
AZ
Коллеги, у кого как организован sql поверх s3?
Точно также как и остальной sql https://www.teradata.com/Blogs/Teradata-Vantage-Native-Object-Store-Decreases-Costs-Increases-Business-Value
V
Я тут сегодня час медитировал на утренний iFlex
V
Все не мог поверить, что по цпу меньше 50 бывает
V
А кто вот это все серебро/золото понадумал? Не интелом же единым?