ДН
логи воркера смотрите
Size: a a a
2021 October 17
AC
Только traceback с dag_id could not be found. Причем таска сразу становиться failed, не идет в ретрай. Триггерю руками после этого - все в порядке.
AD
А on_failed это только свойство tasks? На task group его не повесить?
Ситуация такова, что задачи на отработку сбоя в разных частях dag разные. Через task group можно собрать группы.
Ситуация такова, что задачи на отработку сбоя в разных частях dag разные. Через task group можно собрать группы.
AP
привет, можете подсказать, как организовать CI/CD для airflow с Celery Executor и gitlab?
I
Вот тут типа гайд по тмуксу. Эта штука внутри твоего соединения создаёт свои как бы отдельные подключения, к которым ты можешь потом подключаться даже если соединение с сервером разрывалось. К аирфлоу отношения не имеет, просто никсовая тула https://www.hamvocke.com/blog/a-quick-and-easy-guide-to-tmux/
R
Привет всем!
Подскажите пожалуйста можно ли в airflow добиться параллельного исполнения дагранов?
Например я ставлю start_date ='2021-06-01' и запуск каждый месяц, и если бы я сегодня запустил этот даг то получил бы 5 параллельно запущенных даг ранов за 6,7,8,9,10 месяца. Такое возможно?
Подскажите пожалуйста можно ли в airflow добиться параллельного исполнения дагранов?
Например я ставлю start_date ='2021-06-01' и запуск каждый месяц, и если бы я сегодня запустил этот даг то получил бы 5 параллельно запущенных даг ранов за 6,7,8,9,10 месяца. Такое возможно?
I
Да, можно если автоматом то через catchup, вот тут в доках описано https://airflow.apache.org/docs/apache-airflow/stable/dag-run.html#catchup