Mail.Ru только площадка

Организаторы это сообщество

Moscow Python

Наверное правильно будет если не ответят в течение 3-4 дней с момента подачи заявки написать на contact@moscowpython.ru

Ребят, зачем нужны воркеры? какой эффект дают? и в каких случает стоит включить их?

Воркеры нужны если ты используешь Celery executor. Собственно именно эти процессы и выполняют задачи. Scheduler в этом режиме лишь ставит их в очередь.

Соответственно ответ на вопрос прост. Точнее вопроса нет. У тебя нет вариантов. Используешь Celery? Ты **должен** их включить. Не используешь - они не нужны.

чем он лучше local?

Тем что он распределённый?

@vur21 ты читал документацию? Мне не сложно отвечать на любые вопросы. Но формат обучения с ноля в телеграмм несколько странный.

спасибо

Вы не знаете, что хранится в метаданных airflow в таблице dag_pickle?

Ну видимо запикленное что-то по дагам.... %)

class DagPickle(Base):
   """
   Dags can originate from different places (user repos, master repo, ...)
   and also get executed in different places (different executors). This
   object represents a version of a DAG and becomes a source of truth for
   a BackfillJob execution. A pickle is a native python serialized object,
   and in this case gets stored in the database for the duration of the job.

   The executors pick up the DagPickle id and read the dag definition from
   the database.
   """
   id = Column(Integer, primary_key=True)
   pickle = Column(PickleType(pickler=dill))
   created_dttm = Column(DateTime, default=func.now())
   pickle_hash = Column(Text)

   tablename = "dag_pickle"

А, то есть если я поменял сильно даг, то я всё равно смогу подробности про старые запуски посмотреть?

Вряд ли. Там кроме поля со счётчиком есть только pickle, pickle_hash и created_dttm. Ссылки на dag_id нет.

Нууу он же может тоже быть запиклен

Но короче да, надо опять код читать

А как вы тестите отдельные части вашего DAG?