ДС
Статья от Юры о том, как используется airflow у нас: https://habrahabr.ru/company/mailru/blog/339392/
Size: a a a
2017 November 13
ДС
А есть контакты?
ДС
👍
МС
А какую версию используете?
ДС
1.7.1
МС
Там же вроде не было параметра
catchup у дагов. И это порой было прямо вот страшно :-)OI
Там же вроде не было параметра
catchup у дагов. И это порой было прямо вот страшно :-)В смысле что могут параллельно запуститься таски одного и того же дага, но за разные даты?
ДС
Я так поняла, что шедулер одновременно создаёт запуски под каждый период (дату), а ты уже можешь запускать их последовательно или параллельно.
Удобная штука, похоже.
Удобная штука, похоже.
МС
Не-не. Если например стоит start_date 01.09.2017 и шаг запуска в один день
МС
И такой даг снять с пазуы то будет кооличество запусков с первого сентября по сегодня
МС
Ограниченное только параметром конкурентности.
МС
Жуткое зрелище :)
ДС
Есть же depends_on_past, который не запускает даг за следующий день, если ему значение True присвоить?
ДС
Разобрались.
У нас для того, чтобы это предотвратить, есть самописный сенсор PreviousDagRunSensor. Он смотрит на предыдущий день и пускает поток только если тот удачно завершён.
У нас для того, чтобы это предотвратить, есть самописный сенсор PreviousDagRunSensor. Он смотрит на предыдущий день и пускает поток только если тот удачно завершён.
OI
ну я так понимаю, catchup не будет генерить инстансы самих дагов
PreviousDagRunSensor совместно с depends on past результат дает аналогичный, но выглядит менее изящно, мягко говоря)ДС
Согласна, родной параметр лучше.