Size: a a a

Архитектура данных

2020 June 22

PD

Phil Delgyado in Архитектура данных
Ну, если графики - то это как раз или графана или Jupiter или нормальный BI
источник

PD

Phil Delgyado in Архитектура данных
Если бы Кибана нормально умела во что-то полезное...
источник

DT

Denis Troyan in Архитектура данных
Phil Delgyado
Ну, если графики - то это как раз или графана или Jupiter или нормальный BI
BI для ad-hoc графиков по результатам запроса не очень хорошо подходил на моем опыте.
источник

PD

Phil Delgyado in Архитектура данных
Ну, зависит от того, кто пользуется. Если честный аналитик, то ему и Юпитер удобен. Если разработчик - то датагрип. Если менеджер, то BI.
источник

TK

Timur Khusainov in Архитектура данных
Вообще идею этой системы я пощаимствовал у DBT, там ты пишешь sql,  шаблонизируешь, сохраняешь и потом по расписанию централизованно выполняешь, но dbt не умеет прям из коробки со всеми субд, плюс интерфейс мне не очень нравится там, писать код там не удобно.
DataGrip не умеет сохранять где то на сервере и выполнять по расписанию sql код, а jupyther слишком низкоуровневый, в нем не удобно писать sql код, плюс из коробки многого нет, например автозаполнения sql кода. То есть юз кейс такой:
1. Пишешь в удобном редакторе последовательность команд ddl, dml с параметрами,
2. сохраняешь в файлик
3. Ставишь на расписание
источник

TK

Timur Khusainov in Архитектура данных
Например ты сделал один раз шаблон scd2 и его переиспользуешь
источник

VS

Vladislav 👻 Shishkov... in Архитектура данных
Я так и не понял, как шаблонизатор связан с шедулером
источник

TK

Timur Khusainov in Архитектура данных
Ну когда выполняется файл по расписанию его можно как то запараметризировать, например цикл по массиву из табличек и т.д. Это конечно можно сделать на хранимых процедурах, но процедуры сложно версионировать, а тут можно git приделать и в нем код хранить, ну и язык шаблонов jinja не привязан к СУБД
источник

e

er@essbase.ru in Архитектура данных
кто то изобрел etl ?)
источник

DT

Denis Troyan in Архитектура данных
Ну не особо есть запускалка эскуэлей с возможностью связи данных между несколькими источниками
источник

DT

Denis Troyan in Архитектура данных
Пользователям не дашь информатику самим етл делать
источник

S

Shadilan R16 MU Rost... in Архитектура данных
Timur Khusainov
Ну когда выполняется файл по расписанию его можно как то запараметризировать, например цикл по массиву из табличек и т.д. Это конечно можно сделать на хранимых процедурах, но процедуры сложно версионировать, а тут можно git приделать и в нем код хранить, ну и язык шаблонов jinja не привязан к СУБД
Звучит как airflow :))
источник
2020 June 23

VS

Vladislav 👻 Shishkov... in Архитектура данных
Звучит как нормальный ETL
источник

KO

Konstantin Orzhekhov... in Архитектура данных
А есть чат по airflow ?
источник

VS

Vladislav 👻 Shishkov... in Архитектура данных
источник
2020 July 13

e

er@essbase.ru in Архитектура данных
источник
2020 July 15

PG

Paul Golubev in Архитектура данных
Спасибо, интересная статья
источник
2020 July 16

А

Александр in Архитектура данных
Всем привет!
источник

А

Александр in Архитектура данных
Что-то мы подумали подумали BIщиками и решили что этот канал важнейший для современных BIщиков :)
источник

А

Александр in Архитектура данных
Провели опрос на канале вакансий BI https://t.me/biheadhunter и вот что получилось:
источник