YE
Если там 4 то больше 4 слотов в пуле даже из 100 слотов не возьмет
Size: a a a
2017 December 19
YE
Кстати, вопрос к тем кто более свежей версией airflow пользуется. Что-то с экстернал таск сенсорами придумали?
П
В airflow.cfg задаётся в параметрах
# Number of workers to run the Gunicorn web server
workers = 4
это?
workers = 4
это?
YE
По сути есть ли альтернативный способ выстраивания зависимостей между дагами не занимая воркер
YE
# Number of workers to run the Gunicorn web server
workers = 4
это?
workers = 4
это?
Не уверен, у нас такого параметра нет
МС
# Number of workers to run the Gunicorn web server
workers = 4
это?
workers = 4
это?
Нет. Это количество процессов воркеров, что обслуживают веб-морду.
МС
Не буду сейчас включать телефон. Напомните завтра если сам забуду - подскажу параметр.
П
Ок, спасибо
МС
Это не в
И ещё проверьте что у вас там действительно стоит какой-то параллельный экзекьютор
[webserver] а в [core], параметр parallelism.И ещё проверьте что у вас там действительно стоит какой-то параллельный экзекьютор
То есть любой кроме sequentiall
2017 December 20
П
Вот еще интересный параметр в разделе [scheduler]
# The scheduler can run multiple threads in parallel to schedule dags.
# This defines how many threads will run. However airflow will never
# use more threads than the amount of cpu cores available.
max_threads = 2
# The scheduler can run multiple threads in parallel to schedule dags.
# This defines how many threads will run. However airflow will never
# use more threads than the amount of cpu cores available.
max_threads = 2
ДС
Привет всем, а умеет airflow в тригеры/события?
Умеет слушателей – SQLSensor/BashSensor – чек наступления какого-то события
SP
Умеет слушателей – SQLSensor/BashSensor – чек наступления какого-то события
Спасибо :) Пошел доку читать :)
YE
Привет всем, а умеет airflow в тригеры/события?
Что имеется ввиду? Можно кейс чуть более подробно?
SP
Что имеется ввиду? Можно кейс чуть более подробно?
У меня есть нерегулярные события, и надо что бы кто-то их слушал, и совершал действия, airflow механизм примерно для этого, потому и получил подсказку в ввиде сенсоров, вопрос снят.
ДС
Если они нерегулярные, возникает проблема повторения. То есть раз в период сенсор может зайти. А если событие происходит раз в неделю, а потом – шесть раз за час, нужно дополнительно над шедулингом думать.
OI
или PythonBranchOperator