Size: a a a

2021 October 28

AP

Alexandr Pismenskii in Airflow
я кажется вас немного обманул, такое может быть, если таска висит в статусе queued. у вас, возможно, забилось task_concurrency.
источник

VS

Vadim Sukhanov in Airflow
у нас периодически на тестовых стендах стреляет нечто похожее, правда таски висят в queued, при этом в логах тишина, ни эрроров ни намеков, очереди никакие не забиты, обычно полный редеплой стенда помогает. Я прям вглубь пока не копал, но пачку ишьюсов на гитхабе с подобным поведением я нашел и даже вроде попытки залечить это в 2.1.3 и 2.1.4.

Мы пока на 2.1.2 если что
источник

ДН

Дмитрий Негреев... in Airflow
Подскажите плиз, как передеплоиваите шедулер в кубере? (Да в целом даже неважно где)
Вроде как по логам которые он сам же и пишет там какой-то graceful происходит, но таски от k8sexecutor валятся (пока не читал код, но похоже watcher который чекает под работает на шедулере)
источник

ОЛ

Олег Логинов... in Airflow
Добрый вечер!

Подскажите, пожалуйста, кто-нибудь сталкивался с такой проблемой на винде.

Запускаю планировщик - airflow scheduler и выдает ошибку. При этом http://localhost:8080/login/ запускается в браузере. Но когда ввожу логин и пароль почему-то пишет, что они неверные, хотя создал уже несколько админских пользователей для проверки.

Что может быть?
источник
2021 October 29

P

Pavel in Airflow
Не правильный конфиг дага, 2 раза не надо
источник

P

Pavel in Airflow
Просто проблема сетевой доступности. Ну, и на текст ошибки это не похоже, флирт какой-то)
источник

P

Pavel in Airflow
Просто обнрвление образа в деплойменте делаем. Таски, которые запущены они либо нормально закончатся на воркерах, либо им шедулер пошлёт kill. Правда, у нас самописный оператор, который умеет джобы на кубе запускать из celery executor’а
источник

P

Pavel in Airflow
Проверяйте конфиг. Винда тут вряд ли имеет отношение к вашей проблеме. Добейтесь того, чтобы все компоненты запускались, чтоб все смотрели на одну базу и чтобы был rbac=True, если у вас ниже 2.х.х
источник

P

Pavel in Airflow
Ок
источник

AM

Aлексей Mатюхин... in Airflow
Какая-то другая проблема. У нас есть dev, test среда. Нет доступа к dev, к test есть. Скорее всего, подсеть с контейнерами пресекается по маске с подсетью postgres в облаке. Другого объяснения не нашли...
источник

AM

Aлексей Mатюхин... in Airflow
Коллеги, подскажите, пожалуйста, хотим генерировать DAG-и. Лучше генерировать py афйл DAG-а, или сразу делать в метаданных эирфлоу в postgres?
источник

ДН

Дмитрий Негреев... in Airflow
что значит "сразу делать в метаданных эирфлоу в postgres?"
в метаданные airflow руками инсертить чтоли?
источник

AM

Aлексей Mатюхин... in Airflow
Да, руками инсертить в postgres airflow
источник

P

Pavel in Airflow
Неее
источник

ДН

Дмитрий Негреев... in Airflow
а вы любите извращения
источник

P

Pavel in Airflow
Нельзя так
источник

AM

Aлексей Mатюхин... in Airflow
Я не очень круто разбираюсь, вот и спросил🙂 Спасибо!
источник

ДН

Дмитрий Негреев... in Airflow
https://www.astronomer.io/guides/dynamically-generating-dags
а как файл начнет долго парсится - переходить на генерацию py файлов
источник

P

Pavel in Airflow
В доке airflow написано по этому поводу: dont do so.
источник

ДН

Дмитрий Негреев... in Airflow
если покупали билет на smartdata - посмотрите доклад парней из теле2, рассказывают почему 2ое со временем становится лучше и стабильней
но зависит все от вашего ворклоада
источник