Size: a a a

2021 October 18

N

Nikolai in Airflow
max_active_runs регулирует кол во параллельно работающих дагранов
источник

N

Nikolai in Airflow
concurrency кол во параллельных тасок
источник

R

Rustem in Airflow
Вот выставил в 5
источник

R

Rustem in Airflow
Они как бы 5 запускаются
источник

R

Rustem in Airflow
Но работают все равно последовательно
источник

N

Nikolai in Airflow
этот параметр сколько стоит?
источник

R

Rustem in Airflow
Ща погоди)
источник

R

Rustem in Airflow
Возможно он и стопорит всё)
источник

R

Rustem in Airflow
Я просто подумал типа он нужен чтобы внутри одного даг рана регулировать параллельные таски
источник

N

Nikolai in Airflow
да, это не совсем очевидный момент) на все даг раны влияет)
источник

R

Rustem in Airflow
Окей, спасибо!
Сейчас попробую заново)
источник

N

Nikolai in Airflow
дальше проверяйте слоты в пуле и настройку parallelism в airflow
если там все хорошо, но все равно не работает, то спускайтесь до специфики работы вашего экзекьютера
источник

R

Rustem in Airflow
Слоты в пуле это пойти а task instance detail и посмотреть атрибут pool_slots?
источник

N

Nikolai in Airflow
если пул не задавался, то скорее всего стоит дефолтный, идете в гуи админки в раздел пулов и смотрите, что у вас достаточно свободных слотов в default_pool
источник

R

Roman in Airflow
Всем привет
Тут такая ситуация: если даг факапится, то потом перестаёт запускать таски при сл запусках.
Как сделать так, что если он в 1 день сломался, на следующий все равно отработал?
(Последние запускались вручную)
Подскажите плиз
источник

AS

Andrii Stasiuk in Airflow
Привет, а кто-то сталкивался с такой проблемой KeyError: 'Variable atlas_lineage_conf does not exist'? Я эту переменную  не использую
источник

I

Igor in Airflow
А за таски другой параметр отвечает, dag_concurrency

У тебя там ещё где-то может быть какой-нибудь depends_on_past или wait_for_upstream, он тоже может влиять
источник

I

Igor in Airflow
Вот это как раз похоже на wait_for_upstream или depends_on_past
источник

R

Roman in Airflow
wait_for_upstream true
depends_on_past false
источник

R

Roman in Airflow
wait_for_upstream как-то аффектит на другие запуски? Я думал, это только в рамках дага
источник