Size: a a a

2021 October 12

D

Dmitriy in Airflow
Ну вы кстати так логи потеряете если будет все время меняться окличество тасок
источник

D

Dmitriy in Airflow
По идеи то можно...
источник

VS

Vadim Sukhanov in Airflow
Если не хотите отстрелить себе то что ниже пояса и породить ещё тонну вопросов а почему не запускаются таски - то оставьте эту затею))
источник

D

Dmitriy in Airflow
ну да вот верно пишут что strange кейс
источник

ME

Max Efremov in Airflow
депенд он паст главное не ставить)
источник

VS

Vadim Sukhanov in Airflow
В аирфлоу в момент старта дага уже не получится изменить состав дага без последствий
источник

YM

Yelnar Murat in Airflow
а нет количество тасков меняться не будет
источник

YM

Yelnar Murat in Airflow
А в целом можно в DAG скрипте использовать то что вернул XСOM?
источник

ME

Max Efremov in Airflow
да, конечно
источник

ME

Max Efremov in Airflow
в пайтн операторе через контекст
источник

ME

Max Efremov in Airflow
или темплейтами можно
источник

VS

Vadim Sukhanov in Airflow
Для последующего формирования дага, нет либо с кучей геммороя
источник

YM

Yelnar Murat in Airflow
у меня есть таблица в бд, где я зазделил один скрипт на части
и через xcom хотел бы вызвать их
источник

I

Igor in Airflow
Главное операторы не создавать постоянно, и типа если переписать так чтобы просто из базы цикл например через hook ходить то почему нет
источник

YM

Yelnar Murat in Airflow
s = [{'ID': 1, 'TARGET_TABLE': 'test1', 'SOURCE_SQL': <cx_Oracle.LOB object at 0x7f7d9fecadc8>}, {'ID': 2, 'TARGET_TABLE': 'test1', 'SOURCE_SQL': <cx_Oracle.LOB object at 0x7f7d9fecadc8>}
Вот что вернул мне XCOM
И так хотел реализовать. Это тип шаблон, но не знаю как дернуть
for i in range(len(s)):
load_from_db = MsSqlToOracleTransfer(
           task_id= i['ID'],
           mssql_conn_id = 'host',
           oracle_conn_id = 'orcl_conn_id',
           sql=  i['SOURCE_SQL'],',
           oracle_table = 'i['TARGET_TABLE']            
       )
источник

G

George in Airflow
У кого какой опыт обновления airflow до версии 2.2.0?
источник

p

pa_antya in Airflow
С какой?
источник

G

George in Airflow
С последней, 2.1.4 или с 2.1.*
источник

p

pa_antya in Airflow
-, не так прочитал вопрос
источник

d

d.sky in Airflow
Что-то вроде такого поймал?)
источник