АР
Инстант меппинг больших файлов что бы это значило; реальный маппинг и эроу не просто сер десер?
я вот не знаю как раз
Size: a a a
2021 March 09
АР
но у меня она загуглилась как ещё один соперник пандаса
АР
поэтому и спросил, вот
e
Всем привет!
Есть хайв табличка такого вида:
Из нее надо получить таблицу вида:
Т.е для сегментов (их всего четыре), которые не посчитаны за конекретную дату, проставить нули.
И соответственно добавить эти строки. Сделать надо именно хайв запросом.
Буду благодарен за помощь!
Есть хайв табличка такого вида:
+-------------------+-------+-----+
| DATE|SEGMENT|COUNT|
+-------------------+-------+-----+
|2021-01-11 00:00:00| Int| 1|
|2021-01-11 00:00:00| Mid| 1|
Из нее надо получить таблицу вида:
+-------------------+-------+-----+
| DATE|SEGMENT|COUNT|
+-------------------+-------+-----+
|2021-01-11 00:00:00| Int| 1|
|2021-01-11 00:00:00| Mid| 1|
|2021-01-11 00:00:00| FI | 0|
|2021-01-11 00:00:00| Large| 0|
Т.е для сегментов (их всего четыре), которые не посчитаны за конекретную дату, проставить нули.
И соответственно добавить эти строки. Сделать надо именно хайв запросом.
Буду благодарен за помощь!
AZ
AM
Ребята, есть годный краткий материал про разделение данных на silver, bronze, gold стейджи?
AM
Краткий и без воды
AZ
Ребята, есть годный краткий материал про разделение данных на silver, bronze, gold стейджи?
У вас какой-то конкретный вопрос?
AZ
вы кстати забыли diamond и platinum
AZ
(извините)
K
star platinum (@pomadchin)
AM
У вас какой-то конкретный вопрос?
На самом деле мне нужно понять как происходит разделение сущностей по этим слоям, по каким критериям. Еще хотелось бы получить бест практисес применительно delta lake
AM
(извините)
За diamond не извиню 😁
AZ
На самом деле мне нужно понять как происходит разделение сущностей по этим слоям, по каким критериям. Еще хотелось бы получить бест практисес применительно delta lake
По моему опыту это все вкусовщина, видение конкретного solution architect; кто-то делает только парсинг и базовую фильтрацию в silver, а кто-то строит прям data vault там; смотря какие задачи и что вообще строится
AZ
Вот @renardeinside точнее расскажет идеологию партии, извините, датабрикс
AM
@renardeinside подскажи плиз хороший гайд про дата архитектуру применительно dbx delta lake)
N
Мы пилим так.
Бронзовый слой-сырые данные, наваленные в поркет hdfs из кафки и лежащие в формате кафка сообщений, партиции по времени извлечения. Серебряный слой-данные, разобранные по схемам/кейс классам в реляционный вид, поркет, партиции тоже по системному времени.
Золотой слой-какие-то производные от этих данных- агрегаты, очищенные, обогащенные и т.п., живёт в худях и партиционировано по бизнес-датам. Бриллиантовый слой у нас не получился, потому что нету терадаты. Была бы-и иридиевый тоже сделали бы.
Архитектор @ssheremeta
Бронзовый слой-сырые данные, наваленные в поркет hdfs из кафки и лежащие в формате кафка сообщений, партиции по времени извлечения. Серебряный слой-данные, разобранные по схемам/кейс классам в реляционный вид, поркет, партиции тоже по системному времени.
Золотой слой-какие-то производные от этих данных- агрегаты, очищенные, обогащенные и т.п., живёт в худях и партиционировано по бизнес-датам. Бриллиантовый слой у нас не получился, потому что нету терадаты. Была бы-и иридиевый тоже сделали бы.
Архитектор @ssheremeta
N
Для hbase источников чуть другая схема, но логика та же.
SS
Мы пилим так.
Бронзовый слой-сырые данные, наваленные в поркет hdfs из кафки и лежащие в формате кафка сообщений, партиции по времени извлечения. Серебряный слой-данные, разобранные по схемам/кейс классам в реляционный вид, поркет, партиции тоже по системному времени.
Золотой слой-какие-то производные от этих данных- агрегаты, очищенные, обогащенные и т.п., живёт в худях и партиционировано по бизнес-датам. Бриллиантовый слой у нас не получился, потому что нету терадаты. Была бы-и иридиевый тоже сделали бы.
Архитектор @ssheremeta
Бронзовый слой-сырые данные, наваленные в поркет hdfs из кафки и лежащие в формате кафка сообщений, партиции по времени извлечения. Серебряный слой-данные, разобранные по схемам/кейс классам в реляционный вид, поркет, партиции тоже по системному времени.
Золотой слой-какие-то производные от этих данных- агрегаты, очищенные, обогащенные и т.п., живёт в худях и партиционировано по бизнес-датам. Бриллиантовый слой у нас не получился, потому что нету терадаты. Была бы-и иридиевый тоже сделали бы.
Архитектор @ssheremeta
AZ
Мы пилим так.
Бронзовый слой-сырые данные, наваленные в поркет hdfs из кафки и лежащие в формате кафка сообщений, партиции по времени извлечения. Серебряный слой-данные, разобранные по схемам/кейс классам в реляционный вид, поркет, партиции тоже по системному времени.
Золотой слой-какие-то производные от этих данных- агрегаты, очищенные, обогащенные и т.п., живёт в худях и партиционировано по бизнес-датам. Бриллиантовый слой у нас не получился, потому что нету терадаты. Была бы-и иридиевый тоже сделали бы.
Архитектор @ssheremeta
Бронзовый слой-сырые данные, наваленные в поркет hdfs из кафки и лежащие в формате кафка сообщений, партиции по времени извлечения. Серебряный слой-данные, разобранные по схемам/кейс классам в реляционный вид, поркет, партиции тоже по системному времени.
Золотой слой-какие-то производные от этих данных- агрегаты, очищенные, обогащенные и т.п., живёт в худях и партиционировано по бизнес-датам. Бриллиантовый слой у нас не получился, потому что нету терадаты. Была бы-и иридиевый тоже сделали бы.
Архитектор @ssheremeta
А ссылочную целостность вы поддерживаете? В серебре или только в золоте?