Size: a a a

2021 October 19

VS

Vladislav 👻 Shishkov... in Airflow
Не проще ПР запилить в опенсорс, всем бы полезно было...
источник

ДН

Дмитрий Негреев... in Airflow
Да так лучше конечно, боюсь только наше решение оставляет желать лучшего и его стыдно показывать)) + ждать когда его в какой-то milestone добавят
источник

VS

Vladislav 👻 Shishkov... in Airflow
начинается
источник

VS

Vladislav 👻 Shishkov... in Airflow
в airflow столько говнокода, что говнокод на js вообще не заметят
источник

ДН

Дмитрий Негреев... in Airflow
А можно вообще где-то ci/cd почитать airflow? Посмотреть как билдится
источник

ДН

Дмитрий Негреев... in Airflow
Если я правильно понял, фронт отдельно собирается и потом это с остальным пакуется в колесо
источник

VS

Vadim Sukhanov in Airflow
источник

VS

Vadim Sukhanov in Airflow
там очень много текста
источник

VS

Vadim Sukhanov in Airflow
)
источник

ДН

Дмитрий Негреев... in Airflow
Настало время почитать)) спасибо)
источник

EP

Eugeny Prochan in Airflow
Привет! Кто-то делал кастомную форму для коннекшена? Чтобы для какого-то специфичного HTTP api, не показывать поля schema, database и прочие. И в провайдер потом запихать его. Конечно это баловство, но хочется чтобы красиво было :)
источник

VS

Vladislav 👻 Shishkov... in Airflow
там есть extra
источник

VS

Vladislav 👻 Shishkov... in Airflow
или я не так понял?
источник

EP

Eugeny Prochan in Airflow
Ты впринципе правильно говоришь, но хочется убрать лишние поля, если они не нужны. Ну вот для API нужен SuperDuperApiKey, хочется чтобы кроме поля SuperDuperApiKey не было ничего лишнего (в БД оно будет password). Хотя я сейчас читаю, что пишу. И понимаю, что это фигня какая-то и можно запутаться :)
источник

А

Алексей in Airflow
привет, подскажите best practices: есть таска, которая возвращает массив дней (всегда разный), нужно каждый этот день отдельно обработать таской.
сейчас сделал просто цикл в питон операторе. Думал еще над динамической генерацией тасок, но их число всегда будет разное, что не очень хорошо.

Есть тут какой то устоявшийся подход?
источник

I

Igor in Airflow
Динамическая генерация тасок это не best practice, цикл в операторе норм
источник

I

Igor in Airflow
Вообще best practice это не обрабатывать данные в Airflow, использовать его только для постановки задач в расписание и мониторинг их статуса, но понятно что это слишком радикально
источник

SZ

Serik Zhilibayev in Airflow
Прошлые dagrun таски будут удаляться с Airflow UI.
источник

А

Алексей in Airflow
выполнять будет спарк, аирфлоу только для запуска тасок с нужными параметрами дней
источник

I

Igor in Airflow
Да, это хороший ход

Ну и чем ближе к спарку будет этот цикл по датам тем проще будет взаимодействие с Airflow
источник