Size: a a a

2021 October 12

OI

Oleg Ilinsky in Airflow
кроме импортируемых хреней особо не отличается от стандартного
источник

OI

Oleg Ilinsky in Airflow
и там ещё, чтобы не нагромождать в сообщении, удалил try-except вокруг создания дага
источник

АР

Андрей Романов... in Airflow
+
источник

АР

Андрей Романов... in Airflow
у меня это DAGBuilder
источник

АР

Андрей Романов... in Airflow
с почти таким же функционалом
источник

EP

Eugeny Prochan in Airflow
Т.е. у тебя try except на уровне создания дага и там ты просто ловишь все эксепшены?
источник

I

Igor in Airflow
так пользователи как раз оградятся если ты им напрямую даги не будешь давать создавать
источник

OI

Oleg Ilinsky in Airflow
только эксепшены, которые появляются во время создания дага, не в рантайме тасков
источник

EP

Eugeny Prochan in Airflow
А где ловить, те, что в рантайме? :)
источник

EP

Eugeny Prochan in Airflow
добавить failure callback наверное, отвечая на свой вопрос
источник

I

Igor in Airflow
ну там матрёшка лопается рано или поздно — ты например всё равно нигде не поймаешь если у тебя сам коллбек поломался
источник

OI

Oleg Ilinsky in Airflow
ну смотря для чего
если какие-нибудь алтерты, добавления в логи и т.п., то on_success_callback, on_failure_callback и on_retry_callback
источник

I

Igor in Airflow
retry кстати для дагов нельзя, только для тасок
источник

I

Igor in Airflow
(что обходится если ты его засовываешь в default_args конечно)
источник

OI

Oleg Ilinsky in Airflow
ну у меня эти все 3 в default_args как раз
источник

EP

Eugeny Prochan in Airflow
А вот если есть ситуация, что уже написано некоторое количество дагов и не хотелось бы везде определение дагов пихать в фабрику. Вот такой мой сценарий. Но с фабрикой тоже норм.
источник

EP

Eugeny Prochan in Airflow
просто руками поработать
источник

OI

Oleg Ilinsky in Airflow
а вообще, для всяких метрик и корп алертов пользуюся statsd exporter, который @SLASH_CyberPunk  скидывал. И там уже всякие метрики в прометеусе проверяются.
источник

EP

Eugeny Prochan in Airflow
У меня просто логи из тасок, ге можно посмотреть как даг работает и что привело к ошибке.
источник

ДН

Дмитрий Негреев... in Airflow
Неужели в 2.0 никто не сталкивался?)
источник