EP
Мб есть какой-то коллбек, где я могу ловить исключения.
Size: a a a
2021 October 12
EP
Ага, есть такая, точно. А можно ли как-то по дефолту для всех дагов поставить такой коллбек?
MM
можно сделать собственного наследника и во всех дагах использовать не DAG, а MyDAG
VS
Можно использовать sentry
OI
я создаю просто все даги через функцию paramterized_dag, которая возвращает объект дага с дефолтными параметрами + кастомными
Работает нормально) все дефолтные параметры дагов в одном месте можно определять
Работает нормально) все дефолтные параметры дагов в одном месте можно определять
OI
у меня там всё и лежит, если это ко мне вопрос)
EP
А еще есть какие-то ClusterPolicy https://airflow.apache.org/docs/apache-airflow/stable/concepts/cluster-policies.html
OI
@contextmanager
def parametrized_dag(dag_id, default_args=None, schedule_interval=SCHEDULE_INTERVAL, max_active_runs=MAX_ACTIVE_RUNS,
catchup=CATCHUP, **kwargs):
if default_args is None:
default_args = DEFAULT_ARGS
else:
default_args = {**DEFAULT_ARGS, **default_args}
with DAG(dag_id=dag_id,
default_args=default_args,
schedule_interval=schedule_interval,
max_active_runs=max_active_runs,
catchup=catchup,
**kwargs) as dag:
yield dagну а в
DEFAULT_ARGS можно положить всё, что угодно, в том числе колбекиP.S. сложно назвать это фабрикой
EP
Выглядит неплохо, но хотел оградить пользователей совсем :) Но в целом хорошо.
EP
А на счет sentry, просто хочется видеть ошибку рядом с логами перед ней.
OI
ну а на создание дага:
from parametrized_dag import parametrized_dag
with parametrized_dag(…) as dag:
<some_tasks>