VS
Size: a a a
2021 November 01
ЕГ
Надо ещё проверить спарк линедж, но мне сама идея совсем автоматического сбора не очень нравится
ЕГ
Нет контроля за тем, какой объект метаданных создаётся
ЕГ
Аналогично в openlineage-airflow зачем-то экстракторы для нескольких операторов вместо использования встроенного механизма inlets-outlets
DY
Согласен, мне тоже ближе концепция с чётко прописанными inlets/outlets. Но на чём это лучше всего реализовать так и не понял. Поэтому пока что большая часть тасок сама пишет в табличку, откуда она взяла на вход, куда записала выход и какая версия кода использовалась при обработке.
ЕГ
Вот сделал вчера)
ЕГ
ЕГ
Кустом экстрактор