Size: a a a

2021 October 13

MM

Mikhail Mariufich in Airflow
А что там написать, есть пример?
Если хочу чтобы разница интервалов в пару часов допустима
источник

MM

Mikhail Mariufich in Airflow
Переслано от Дмитрий Негреев...
Нужен execution_delta_fn
источник
2021 October 14

I

Igor in Airflow
Она не delta, она date

Вот в тесте пример
https://github.com/apache/airflow/blob/main/tests/sensors/test_external_task_sensor.py#L321

Для твоего примера получается будет типа lambda dt: dt + timedelta(hours=2)
источник

ДН

Дмитрий Негреев... in Airflow
из того что я видел - обычно это легкие лямбды
lambda dt: dt.start_of('month')

если не ошибаюсь на вход в Callable приходит execution_date в Pendulum формате, и дальше просто работаешь с ним
источник

FZ

Farkhad Zamaletdinov in Airflow
Приветствую! Подскажите, кто чем пользуется для соединения airflow и oracle. Н-р, OracleOperator, hooks и т.д  ? И что лучше использовать?
источник

FZ

Farkhad Zamaletdinov in Airflow
Или может встречали инструкцию по соединению Oracle и airflow в docker
источник

R

R in Airflow
на нижнем уровне работает oracle tns client, выше него cx_oracle, над ним можно создать свои hooks, operators
источник

R

Rustem in Airflow
Коллеги, разобрался. Всё норм если у дагов есть пересечение по execution_date дагранов этого достаточно, интервал запуска может отличаться. Проблема была в том, что родительский task_id был неверно указан)
источник

MM

Mikhail Mariufich in Airflow
Execution_date должны совпадать?
источник

R

Rustem in Airflow
Ага
источник

MM

Mikhail Mariufich in Airflow
А можно сделать чтобы не совпадали?

Пример, даг зашедуленный на 3 ночи и следующий потом на 5 ночи или это дичь и просто нужно ставить одинаковые?


Просто как будто я через эти дельты должен прям подстраивать всё друг под друга неудобно

Можно ли просто зависимость на последний даг ран без запар😂
источник

ME

Max Efremov in Airflow
у меня лямбды делают проверку месячных запусков из квартального
источник

R

Rustem in Airflow
Можно
источник

ME

Max Efremov in Airflow
вот да)
источник

ME

Max Efremov in Airflow
если время такое в целевом даге есть, его и проверит
источник

R

Rustem in Airflow
execution_delta тебе нужен
источник

MM

Mikhail Mariufich in Airflow
Да вот нет
Я через дельту должен подобрать её так, чтобы точно попасть в execution date
источник

MM

Mikhail Mariufich in Airflow
То есть если разница 2 часа 10 минут, то я должен выставить 2 часа 10 минут, а 3 часа не катит

Это так и работает или я налажал и стоит перепроверить?)
источник

R

Rustem in Airflow
Поставь попробуй прям чистую разницу между их временем запуска
источник

R

Rustem in Airflow
Если один зашедулен на 2 часа а второй на 4:10 поставь 2:10 попробуй
источник