DM
Да, штука неочевидная. Источник может читаться/джоиниться по условию, но можно же придумать как с этим быть - просто показывать его, если читается хоть по одной ветке кода
Size: a a a
2021 September 29
ЕГ
Называется это всё data lineage, и в идеале код и конфиги пишутся с учётом возможности его построения
ЕГ
Тулз который отображает data lineage - apache atlas самый известный
ЕГ
Может и попроще есть
ЕГ
Так как спарк позволяет считать данные 100500 различными способами, и записать тоже, никто такой тулз универсальный писать не будет
ЕГ
Но если у вас в коде например только spark.table(...)...saveAsTable(...)
ЕГ
То тут можно и самому написать
DM
Спасибо, посмотрю Atlas
ЕГ
🤝
ПФ
А заведи нам ишшу в ютрек? Вероятно мы можем сделать такое. Может не завтра, но принципиально почему нет?
ПФ
У нас в планах есть датафрейм интроспекшн, это после него должно быть совсем понятно как делать
ПФ
Не вижу почему нет. Особенно если соответствующие коннекшны сконфигурированы
ПФ
Ну или я завтра заведу
Д
Все остальное - имхо больше для огромных хранилищ/дата лейков. Вот тут описание всех решёний
https://github.com/eugeneyan/applied-ml#data-discovery
И вот еще
https://github.com/opendatadiscovery/awesome-data-catalogs
https://github.com/eugeneyan/applied-ml#data-discovery
И вот еще
https://github.com/opendatadiscovery/awesome-data-catalogs
ЕГ
Ты имеешь в виду изнутри экзекушен плана вытаскивать?
ПФ
Нет, зачем?
ПФ
У тебя есть spark.read
Д
Уже есть такие экстракторы (не идеальные правда) , для того же маркеза - https://github.com/OpenLineage/OpenLineage/tree/main/integration/spark
