Там мутно. Он не щедулит таску если у такой же в прошлом даг ране не было успешного запуска и у непосредственно следующей за ней тоже не было успешного результата в прошлом даг ране

Ой, да, я тут ошибся и имею в виду wait_for_downstream

У меня указан конкретный, но у него 1 Слот))

значит больше одной задачи не будет выполняться

Ага так и понял, буду просить подкрутить пул

Там вроде по дефолту 128 должно быть, то есть если кто-то 1 поставил,то этот кто-то очень суров

Буду иметь в виду)

А, спасибо

Что значит спускаться до спецификации экзекьютера?

на уровне экзекьютера параллельные выполнение может тоже регулироваться, независимо от airflow

Коллеги, добрый день!
Не знаете, где можно найти хороший пошаговый мануал, как развернуть Airflow + Postgres без использования докера с рекомендуемыми настройками безопасности и т.д.?
Из документации мне не понятно, легче работать с конкретными примерами.
В интернете легко найти кучу примеров, как установить чистый Airflow с sqLite (чисто ознакомительная история), как развернуть готовое решение с docker'ом (уже похоже на рабочее решение, для прототипирования, но мне уже не хватает), а вот публикаций по "взрослому" развертыванию airflow никак не найду.
Спасибо.

а почему без докера?

У меня проблемы следующего рода:
- Airflow при запуске нескольких дагов часто жалуется "log files does not exist" и процесс не запускается (На машине оперативки 8 гб, VM использует 4 ГБ в такие моменты)
- Пытаюсь поставить в docker_compose нестандартные порты postgres - все ломается
- Пытаюсь поставить в docker_compose нестандартный пароль postgres - все ломается
- Приходится подключаться на VM внутрь докера для установки библиотек python (матрешка какая-то)
Вот и хочу полноценно понять как компоненты airflow между собой дружат. Но через хороший пример )

В доке есть, как дружат компоненты

Как понять, почему airflow жалуется "log files does not exist"?

Почему если меняю порты / пароль postgres в docker_compose, то все ломается?
При этом при изменении портов в airflow webserver - все норм работает.

Заработало! Причина была в том, что кроме concurrency, определяемого на уровне дага, есть ещё task_concurrency, определяемого на уровне таски, этот параметр по дефолту 1 и не даёт таску запускаться более чем в одном экземпляре дага.

👌

Кто-нибудь сталкивался с этой ошибкой?

dag_id could not be found: DAGNAME Either the dag did not exist or it failed to parse.