R
На impala можно витрины
Size: a a a
2021 June 10
AZ
кликхаус только-только SQL 2003 догоняет, ждем дальше
MS
Ух ты здорово
Какие результаты у вас?)
Ну, порядок, просто интересно
Какие результаты у вас?)
Ну, порядок, просто интересно
AZ
зависит от конкретной железки, заказчика :)
MS
Ну в смысле throughput/cost интересует скорее
AZ
скажем так, если у вас сложный профиль нагрузки (много разных классов потребителей данных, с разными требованиями), то в итоге мы подешевле BQ/Snowflake/Redshift, иногда в разы 😊
ИК
Так мне и не надо такого)) По уму, спарк должен бы начать делать HashedRelationBroadcastMode только когда это потребуется, и рассылать только на те экзекуторы, которые запрашивают
ИК
Да, это, конечно, пришлось освоить. Для особо крупных таблиц сделан отдельный план, файл-прунинг, MergeCommand с zipPartitions по отсортированным итераторам, и свой Writer, чтобы еще кое-что считал дополнительно
ИК
А это вот попытка довести до ума ветку для «простых» таблиц
2021 June 11
C
ibtoey mnapt has been banned! Reason: CAS ban.
АК
Всем привет
Столкнулся на работе с необходимостью создания документации для etl
Было бы интересно посмотреть вообще любые примеры или шаблоны для этого
Больше всего интересует на данный момент примеры документации маппинга данных между источниками и dwh и документы регламентирующие, что происходит с таблицами при вставке, апдейте и удаление записей
Столкнулся на работе с необходимостью создания документации для etl
Было бы интересно посмотреть вообще любые примеры или шаблоны для этого
Больше всего интересует на данный момент примеры документации маппинга данных между источниками и dwh и документы регламентирующие, что происходит с таблицами при вставке, апдейте и удаление записей
NB
кажется без генерации из кода дока обычно быстро устаревает, у dbt есть из коробки генерация https://docs.getdbt.com/docs/building-a-dbt-project/documentation
Возможно, я не прав
Возможно, я не прав
АК
ну вот прям сейчас есть большая проблема, что только я знаю информацию по нескольким источникам, в каждом из которых по 300-400 таблиц
и мне нужно всей команде рассказать что от туда брать и куда складывать
и мне нужно всей команде рассказать что от туда брать и куда складывать
АК
пробовал как-то это оформить, но не очень продуманная структура пока выходит
ПБ
собрать список полей и таблиц не проблема а вот описать их ))
АК
да, это так
много сложностей ещё когда поле заполняется из совершенно разных мест и с очень сложной логикой
Вот и подумал спросить, может умные люди уже сделали более менее продуманный шаблон))
много сложностей ещё когда поле заполняется из совершенно разных мест и с очень сложной логикой
Вот и подумал спросить, может умные люди уже сделали более менее продуманный шаблон))
ME
У нас в гугл таблицах и вики такое 😅
NB
В бородатые годы когда были модны s2t в виде excel в итоге получалось, что заполнить шаблон в разы сложнее, чем задевелопить. Потом все эти excel подсасывались в метаданные, на которой строились визуализации или зависимости по необходимости
АК
Просто нужен способ передачи знаний в понятном виде, а пока выходит только понятный мне док)