Или котлине

Это к Паше

Попроси его пожалуйста

я больше скажу что иногда старые боли возвращались =(

Най фай есть ещё

Или камел?

Скала отстой

найфай несколько не про то, и когда я последний раз использовал его что-то типа 1.8-1.9 версий он был ооочень жадным до ресурсов. А уж с точки зрения организации CI/CD там прям совсем все печально было, либо рисуй все на холсте прям в проде либо через корявый nifi registry поверх гита деплой, но бд реджистри этого была на столько нестабильная что очень часто приходилось инитить ее заново. Крч от найфая лично у меня болезненные воспоминания)) особенно от кластерной инсталляции =)

крч airflow в этом плане для периодического запуска задач выглядит куда лучше и стабильнее.

да пофиг на чем, главное чтобы все в контейнерах запускалось))

в язык в таких системах по-моему меньше всего упираешься, как правило.

по мне так есть задача и есть инструмент, свой инструмент под свои задачи, не бывает плохих языков, бывает не подходящих, под конкретную задачу)

Всем привет. Переехали на k8s executor, в случайный момент времени для случайной таски возникает

Exception: Executor reports task instance finished (failed) although the task says its queued. (Info: None) Was the task killed externally?

airflow.exceptions.AirflowException: dag_id could not be found. Either the dag did not exist or it failed to parse.

кто сталкивался и как вылечить такое? рушит часть пайплайнов

Привет, Антон)

Лол

Тайм-аутов не возникает у парсинга дагов?

Наивный вопрос.
А как (подход) сделать, чтобы по сбою в любом таске dag стартовало выполнение  exception task?

Можно всем таскам где такое может быть добавить зависимость в exception task с триггер рулом one_failed

Но такую логику логичнее через on_failure_callback сделать

Привет.
Airflow 2.1 развернут на LInux серевере без докера, CeleryExecutor (1 worker)
Периодически т.е. (может раз в день, может больше, а может и ни разу за день) падают таски с ошибкой

*** Log file does not exist: /opt/airflow//logs/*****/2021-10-17T05:18:00+00:00/1.log
*** Fetching from: http://:8793/log/*****/2021-10-17T05:18:00+00:00/1.log
*** Failed to fetch log file from worker. The request to ':///' is missing either an 'http://'                         or 'https://' protocol.

Ресур сервера не на пределе. Какие причины такого поведения? Как можно это решить?
Спасибо.

🤝

Нет, проверяли это

что-то в логах пода с таской?