Size: a a a

2021 October 14

MM

Mikhail Mariufich in Airflow
Ага, но я не хочу так подбирать((

Так работает в примере что я описал , это верно)
источник

R

Rustem in Airflow
А что значит подбирать?
источник

VS

Vadim Sukhanov in Airflow
ага, оно так и работает))
источник

MM

Mikhail Mariufich in Airflow
Выставлять вручную дельту таким образом
источник

R

Rustem in Airflow
Ну это же 1 раз делаешь)
источник

VS

Vadim Sukhanov in Airflow
и потом еще раз когда меняешь расписание)
источник

VS

Vadim Sukhanov in Airflow
при этом вспоминаешь об этом когда прилетает аллерт о том что даг не отработал)
источник

R

Rustem in Airflow
А ну у просто в специфики хранилища это очень редко происходит, я с этой колокольни)
источник

MM

Mikhail Mariufich in Airflow
Ага, но у меня исторически ряд дагов без использования этого сенсора у них уже есть расписания
Неприятно щас сесть и высчитывать)
Ну и типа да, пользователям просто Execution_date уже сложно
А если их ещё и синкать так😊
источник

R

Rustem in Airflow
Тогда соглы)
источник

ME

Max Efremov in Airflow
Тогда мб лучше триггерить другой даг, когда первый кончится?
источник

MM

Mikhail Mariufich in Airflow
Ну а что если этот сенсор в середине дага))
источник

R

Rustem in Airflow
Коллеги, а можно я параллельно залечу с новым вопросом, подозреваю, что он простой но я ньюби)
Как зашедулить даг так, чтобы он запускался в обратном порядке, то есть от новой даты(текущей) к start_date?
источник

VS

Vadim Sukhanov in Airflow
это работает когда у тебя всего 2 дага где один зависит от другого а когда у тебя есть даг, которому надо дождаться 2,3, 10 других дагов - это уже не сработает))
источник

ME

Max Efremov in Airflow
и расписание динамически меняется...
источник

ME

Max Efremov in Airflow
тогда мб писать файлы-флаги?
источник

ME

Max Efremov in Airflow
у нас на S3 были done файлы
источник

ME

Max Efremov in Airflow
даг закончился и записал, другие проверяют
источник

VS

Vadim Sukhanov in Airflow
а никак)) сделать внешний крон и в нем запилить свою логику запуска тасок, но тогда тут airflow не нужен)
источник

I

Igor in Airflow
блин вот я не люблю из-за этого этот сенсор, мне кажется триггер даг ран оп намного проще)
источник