Size: a a a

2018 January 18

JS

John Smith in Airflow
Igor
Был докер в Магадане, а теперь — Магадан в докере. Неплохо.
у нас докер по всей стране :) просто с ДФО - с часовыми поясами постоянно ерунда
источник
2018 January 19

I

Igor in Airflow
Igor
Кто-нибудь использовал TriggerDagRunOperator? У меня странная история с тем, что он зачем-то запускается в будущее и в итоге непонятно почему
UPD: разобрался вроде.
Время всех компонент должно быть в UTC для обеспечения прозрачности. В моём случае постгрес был по Москве и поэтому ничего не получалось.
источник

П

Павел Максимов in Airflow
Нашел параметр в конфиге, который задает интервал проверку файлов дагов на изменение. Шедулер перестал спамить бесконечными логами каждую секунду. Может кому пригодится.
# after how much time a new DAGs should be picked up from the filesystem
# после того, сколько времени новые DAG должны быть взяты из файловой системы
# 0 по умолчанию
min_file_process_interval = 180
источник

SS

Sergey Sheremeta in Airflow
всем привет! кто-то уже пробовал версию Airflow 1.9.0 ?
источник

МС

Максим Сёмочкин in Airflow
Мы пока не успели
источник

I

Igor in Airflow
источник

SS

Sergey Sheremeta in Airflow
а подробнее?
источник

SS

Sergey Sheremeta in Airflow
про проблемы Celery уже в курсе - кушаем полными ложками
источник

I

Igor in Airflow
Ну вообще кажется промежуточным на самом деле, потому что вот TriggerDagRunOperator в девелоперской версии другой, там дописаны какие-то утилиты по работе с timezones
Из того, что ещё заметил — появились дополнительные опции в командной строке ещё
источник

I

Igor in Airflow
Вроооде бы стали реже проблемы с самописными плагинами (у меня они стандартно плохо импортировались)
источник

I

Igor in Airflow
Был ещё момент с тем что он просто не запускался, пока я не указал таки сгенерированный нормальный fernet_key
источник
2018 January 22

SS

Sergey Sheremeta in Airflow
Дина Сафина
Спросила организаторов, они пообещали сегодня-завтра проаппрувить максимальное количество заявок.
доброе утро! есть информация по апрувам?
источник

ДС

Дина Сафина in Airflow
Что, до сих пор не прислали?!
источник

ДС

Дина Сафина in Airflow
Никому?
источник

I

Igor in Airflow
That's correct
источник

NZ

Nikita Zh in Airflow
в папке спам тоже пусто))
источник

ДС

Дина Сафина in Airflow
А киньте мне в личку ФИО ваши? Я попрошу организаторов ваши заявки побыстрее прогнать :)
источник

I

Igor in Airflow
Я пока в фейсбуке отписался
источник

ДС

Дина Сафина in Airflow
Передала организаторам список тех, кого нужно проаппрувить вне очереди. Они принесли извинения, что затянули, много организационных моментов. По времени не скажу, но считайте, что аппрув у вас есть :)
источник

SS

Sergey Sheremeta in Airflow
коллеги, кто столкнулся с проблемой работы CeleryExecutor в Airflow v1.9.0 - как я решил проблему:
1) создаем файл celeryconfig.py с содержимым:

from airflow import configuration

class CELERY_CONFIG(object):
   CELERY_ACCEPT_CONTENT = ['json', 'pickle']
   CELERY_EVENT_SERIALIZER = 'json'
   CELERY_RESULT_SERIALIZER = 'pickle'
   CELERY_TASK_SERIALIZER = 'pickle'
   CELERYD_PREFETCH_MULTIPLIER = 1
   CELERY_ACKS_LATE = True
   BROKER_URL = configuration.get('celery', 'BROKER_URL')
   CELERY_RESULT_BACKEND = configuration.get('celery', 'CELERY_RESULT_BACKEND')
   CELERYD_CONCURRENCY = configuration.getint('celery', 'CELERYD_CONCURRENCY')
   CELERY_DEFAULT_QUEUE = configuration.get('celery', 'DEFAULT_QUEUE')
   CELERY_DEFAULT_EXCHANGE = configuration.get('celery', 'DEFAULT_QUEUE')

2) копируем файл в директорию установки airflow - например, /usr/local/lib/python3.6/site-packages/airflow/celeryconfig.py
3) добавляем в airflow.cfg в раздел [celery] строку:

celery_config_options = airflow.celeryconfig.CELERY_CONFIG
источник