AM
А что это?
Size: a a a
2021 October 31
AM
Не знаю. Наверное нет. Я же все с локального кома делаю. Сейчас я делаю только прототип, который будет потом в реальной инфре крутиться...
AM
А зачем? Это же файлы с ДАГами, они много не занимают.
AM
Т.е. сделать примаунченную шару к локальному диску? Это было бы супер круто. Не представляете, как я сейчас мучаюсь. С заворачиванием ДАГа в образ, потом пушем в докер репозиторий, потом раскаткой helm-ом, все это не быстро, кодить и отлаживать очень тяжело!!!
I
к сожалению, представляем
Но да, чтобы всё было удобнее тебе точно нужен какой-то общий центр где будут даги, кто тебе его даст — гит контейнер, сетевая файловая система, или твой облачный провайдер — зависит от инфраструктуры. Паттерн что твой воркер на котором запустился генератор будет раскладывать их потом по другим дагам скорее не очень
Но да, чтобы всё было удобнее тебе точно нужен какой-то общий центр где будут даги, кто тебе его даст — гит контейнер, сетевая файловая система, или твой облачный провайдер — зависит от инфраструктуры. Паттерн что твой воркер на котором запустился генератор будет раскладывать их потом по другим дагам скорее не очень
AM
А ДАГи генерите?
DY
Вот, кстати, может быть интересно глянуть для вдохновения: https://airflowsummit.org/sessions/2021/data-lineage-with-apache-airflow-using-openlineage/
2021 November 01
ЕГ
Следующее на очереди у меня попробовать)
Датахаб и атлас уже протестированы)
Датахаб и атлас уже протестированы)