Мы до сих пор его осваиваем :)

У тебя случайно не включена опция "Hide Paused Dags"?

где она находится?

В веб интерфейсе под списком дагов

выключена

Чувствую, что наш переход на новую версию будет почти на 100% спровоцирован рассказами Максима :)

Только потом не бейте :)

Всем привет.
Не подскажите best practice по функциональному тестированию DAG?

Наша примерная архитектура:
Мы используем Airflow для выполнения задач на Hadoop кластере. Кластеров у нас 2, staging и production. На каждом есть машина с airflow. На staging для тестирования (test, backfill, scheduler), на production уже только scheduler (иногда backfill, но пока редко). Код airflow (ДАГи, таски, YAML конфиги, код сабдагов) синхронизуется через наш python пакет через гит. Соответственно настроен CI/CD веток гита master -> staging server, production -> production server. Пакет становится в директорию, которую можно менять только из под рута (раскидывается Ansible).

Возникает вопрос тестирования шедулера без прав рута, т.к. все операции CLI можно настроить на свои директории соответсвующим PYTHONPATH. Ну и при тестировании хотелось бы иметь вебморду, чтобы смотреть разрабатываемые сложные связи.

Возможные варианты:

- завести ещё одну машину под airflow типа QA на кластере staging. Там тестить, если всё ок, отправлять в master, далее смотреть что там всё в течение нескольких дней и в production
- под каждого юзера разворачивать docker контейнер с airflow
- может есть ещё какие варианты?

Пока мы склоняемся ко второму варианту, у кого-то есть опыт работы/сборки docker airflow и каким там могут быть подводные камни?

ребят, для чего в даге нужна переменная start_date ? таки не поня, где она участвует

Это первая дата, за который будет отрабатывать даг.

Очень интересная тема!
Мы пока не добрались до тестирования шедулера.

спасибо, разобрался, как работает

https://airflow.incubator.apache.org/faq.html#what-s-the-deal-with-start-date
Вроде как первый запуск таски будет start-time + schedule interval, нет?

ага
за start_date (т.е. ds=start_date), но запустится он в start_date + schedule interval

поставил start_date 2017-01-01 интервал 1день, запустил. И шедулер пошел выполнять от этой даты, наверно до сегодняшней выполнит

Именно

до вчерашней включительно)

зачем тогда backfill нужен, если и так он от стартовой даты выполняет?

это немного другое
там можно за любой интервал запустить + различные опции типа mark_success и т.п.