вроде когда запускаешь с & джоба все равно живет только пока жива шел сессия

Попробуй запустить шедулер с флагом -d. Тогда он будет не зависеть от сессии, но не думаю, что такое же есть для воркеров/вебсервера

Понял, спасибо

Всем привет!
Подскажите такой момент!
Сейчас у меня сенсоры ждут, когда отработает целый даг (для этого использую ExternalDagsSensor). При этом даги состоят из нескольких тасок (опрос сенсоров - трансформ данных на спарке - далее DummyOperator + BranchPythonOperator - загрузка трансформа в Clickhouse)
Сенсоры запускаются раз в N минут. Между запусками тасков в даге тоже есть задержка. Часто происходит ситуация, когда таблица уже на самом деле создана (все трансформы завершились), но даг еще не отработал до конца. Сенсор проверяет его и снова уходит в ретрай - это отсрочивает выполнение дальшейших тасок, короче говоря думаю переехать с ExternalDagsSensor на ExternalTaskSensor, но насколько это поможет моей ситуации, может кто сталкивался с подобным и есть какие-нибудь другие решения?

Всем привет!

Кто-то сталкивался с проблемой, что тачка долгое время висит в статусе scheduled и не выполняется без понятных причин?
Как понять чего ждёт таска и почему она не запускается?

шедулер страдает?

много других в пуле накопилось?

после срабатывания сенсора, что должно произойти?

возможно у вас ни один воркер не слушает очередь, в которой запускается эта таска

Спасибо, проверю

Проверил, все норм

Коллеги, добрый день! Подскажите зачем указывать 2 раза  start_date в default_args и в with ? Сейчас смотрю примеры создания дагов )

незачем

где будет правильней задавать этот параметр ?

если зададите в default_arg, то в даг оттуда подтянется

Добрый день. Запустил airflow в кубере. Воркер не может ходить во внешнюю базу постгри. Пишет ошибку: Is the server running on host "ec1-43-101-264-33.compute.amazonaws.com" (172.17.0.150) and accepting
 TCP/IP connections on port 5432?
Подскажите, пожалуйста, может кто сталкивался с таким.

может быть такое что k8s ingress controller неправильно сконфигурирован и доступов во внешку нет

Может. Наверное. Я стандартную конфигурацию взял от эирфлоу. Думаю, они правильно сконфигурировали... Попробую пропинговать какие-нибудь внешние ресурсы с контейнеров, спасибо!

А есть команда, чтобы остановить воркеры и шедулер? Кроме kiil

Стандартный sigterm