Size: a a a

2019 July 30

ПФ

Паша Финкельштейн in Data Engineers
Anton Zadorozhniy
ддл скрипты в гите (вместе с джобами которые данные порождают) и аккуратные плагины для грейдла для их накатывания, кмк ликвибейс тут небольшой оверкилл, хотя ymmv
а как контролируете накатывание?
источник

AZ

Anton Zadorozhniy in Data Engineers
Паша Финкельштейн
а как контролируете накатывание?
кнопка с параметрами в дженкинсе
источник

ПФ

Паша Финкельштейн in Data Engineers
Anton Zadorozhniy
кнопка с параметрами в дженкинсе
ага. И что кнопка делает? вызывает билайн с правильным скриптом?
источник

ПФ

Паша Финкельштейн in Data Engineers
а как понимаете какие скрипты надо накатить?
источник

AZ

Anton Zadorozhniy in Data Engineers
Паша Финкельштейн
ага. И что кнопка делает? вызывает билайн с правильным скриптом?
не, она тащит артефакт где лежат джобы и манифест, там дсл который описывает что и как сделать
источник

ПФ

Паша Финкельштейн in Data Engineers
кхм, а это клозд сорс? Я б посмотрел
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
кнопка с параметрами в дженкинсе
Речь идёт про менеджер или и менеджд и экстернал таблицы ?
источник

ПФ

Паша Финкельштейн in Data Engineers
ну то есть по факту у вас своя вариация на тему флайвэя
источник

AZ

Anton Zadorozhniy in Data Engineers
в ДСЛ уже есть команда для накатки ДДЛ через билайн на джампбоксе
источник

AZ

Anton Zadorozhniy in Data Engineers
Паша Финкельштейн
кхм, а это клозд сорс? Я б посмотрел
да, это все клиенту принадлежит, я консультирую их
источник

ПФ

Паша Финкельштейн in Data Engineers
Anton Zadorozhniy
в ДСЛ уже есть команда для накатки ДДЛ через билайн на джампбоксе
а таки как оно хранит информацию о том, что уже накатано? Завели ACID табличку?
источник

AZ

Anton Zadorozhniy in Data Engineers
Паша Финкельштейн
а таки как оно хранит информацию о том, что уже накатано? Завели ACID табличку?
в датакаталоге лежит, самописный сервис поверх обычного пг
источник

ПФ

Паша Финкельштейн in Data Engineers
так, теперь я начинаю не верить что ликвибейз это оверкилл )
источник

AZ

Anton Zadorozhniy in Data Engineers
это самый приличный из подходов к снаряду, так-то я чего только не видел, от хранения и управления всем в пауэрдизайнере (да-да, речь про хайв) до даталейков без хайва вообще)
источник

AZ

Anton Zadorozhniy in Data Engineers
датакаталог нужен полюбому, и делать его в самом хайве это неудобно
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
датакаталог нужен полюбому, и делать его в самом хайве это неудобно
Особенно если учесть , что схема может быть одна , а данные другие
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Особенно если учесть , что схема может быть одна , а данные другие
да, нужен компонент гавернанса на который замкнуты все процессы
источник

AZ

Anton Zadorozhniy in Data Engineers
часто (читай всегда) есть дата продукты / дата ассеты которые не хайве определены, но которыми нужно тоже управлять
источник

AZ

Anton Zadorozhniy in Data Engineers
поэтому агностичное средство сильно помогает
источник

ПФ

Паша Финкельштейн in Data Engineers
Anton Zadorozhniy
часто (читай всегда) есть дата продукты / дата ассеты которые не хайве определены, но которыми нужно тоже управлять
так, а ими вы как управляете?
источник