Телеграмм чат группы ruairflow страница 1426

Я с подобной задачей(дизайнерам пересобирать отчетики за разные даты) Делал слак бота, который собирает параметры и постит json в airflow API) Выглядит кажется проще, чем кастомные страницы

источник

11:15пожаловаться #9

Dmytro Striletskyi in Airflow

А в какое API, какие эндпоинты?

источник

11:21пожаловаться #10

Staseello in Airflow

В Airflow API просто на запуск дага. Если не ошибаюсь это POST на


/api/experimental/dags/DAG_NAME

Тут важно уточнить, что версия Airflow 1.14, во второй API перестало быть experimental и линки изменились немного)

источник

11:23пожаловаться #11

Dmytro Striletskyi in Airflow

Понял, спасибо.

источник

11:24пожаловаться #12

Александр in Airflow

https://airflow.apache.org/docs/apache-airflow/stable/stable-rest-api-ref.html#operation/post_dag_run

источник

12:47пожаловаться #13

Dmitry Yakimets in Airflow

Кстати, отличная идея! Спасибо большое за наводку

источник

13:12пожаловаться #14

Александр in Airflow

Подскажи пожалуйста как правильно ограничить макс. кол. тасок на даг? К примеру у меня есть 32 доступных воркера, из них не больше 12 должно выделятся на один даг.

источник

15:38пожаловаться #15

Max Efremov in Airflow

есть pools

источник

15:39пожаловаться #16

Max Efremov in Airflow

можно ещё конкаренси ограничить

источник

15:39пожаловаться #17

Александр in Airflow

Этот конфиг достаточно поменять?

# The number of task instances allowed to run concurrently by the scheduler
# in one DAG. Can be overridden by ``concurrency`` on DAG level.
dag_concurrency = 16

источник

15:42пожаловаться #18

Anton Chabanets in Airflow

Вроде в самом описании дага можно

`dag = DAG(dag_name, default_args=default_args, schedule_interval=timedelta(minutes=20), catchup=False,
max_active_runs=1, concurrency=1)`

источник

15:43пожаловаться #19

Александр in Airflow

о, шикарно

источник

15:43пожаловаться #20