АЖ
Кстати, а есть у кого-нибудь годные ссылки по тестированию и версионированию SQL?
Size: a a a
2021 July 14
АЖ
в @datajobs позязя
D
ага. и все модные компании пилят etl через sql - python джобы на airflow, а не информатика, ibm, sas и прочие инструменты
АЖ
Оркестрировать можно чем угодно вообще
АЖ
Хоть кроном
AZ
это было сколько себя помню, напрямую informatica/datastage и друзья использовались только в такой средней нише (ну или если СУБД не умеет нормально работать), на самых больших хранилищах они были планировщиками которые запускали SQL
АЖ
Хоть дженкинсом
VS
крон топчик, чё начали то
VS
просто надо уметь его готовить для прода
АЖ
кубовые кронджобы понадежнее плова в кубах
прув ми ронг
прув ми ронг
AZ
тоже то еще удовольствие, учить его бэкфилу, всякие сенсоры делать
АЖ
ну это вопрос требований к оркестратору :)
OI
ну кубовые кронджобы можно хоть как-то мониторить)
AZ
из крона можно сделать планировщик для датапайплайнов, но это скорее заготовка
AZ
Control-M FTW
OI
потом получится yet another оркестратор))
AZ
так и бывает, да; тут история похожая с датакаталогами или SQL шаблонизаторами - проще написать свой, чем брать/платить и адаптировать чужое
λ
а еще есть марафон....
