Вот прям в лоб пишем даг, пушим в репу, оно магией прилетает на airflow, где есть авторизация с вебкой и тыканье кнопочек

а можно подробней про магию?

пока везде я только вижу “подкладываем файлик дага” и “airflow периодически парсит папку для синхронизации”

ci/cd - простая магия

Ну выбирать вам, но я бы начал думать со следующего пункта:

Airflow не то, чтобы стандарт de facto по запускаторству по расписанию, но крайне сильно распространенный софт.
Просто Python код для DAG, который может освоить любой R специалист.
Даже если нет, можно написать свой шаблонизатор, который будет делать DAG из параметров, CI/CD поставляется это все.

Почти любой другой инструмент для окестрации (кроме крона) существенно менее популярен и его кто-то должен будет поддерживать, а в случае собственной полноценной разработки еще и допиливать (существенно больше, чем шаблонизатор)
Поиск людей + время на создание >> коробочного решения Airflow

Простой пример: airflow запущен на VM, Пайплайн ходит по sshпо коммиту в мастер на машину, заходит в папку с дагами и делает git pull

Side car контейнер и git sync вариант для k8s

не прокатит, я выше указал количество пользователей

пару десятков комманд

А как это мешает?

в итоге если все начнут мержить в репу с дагами, то быстро начнётся там треш и содомия

Почему?
Кто мешает в команде поставить аппрувера на мердж кода DAG в прод?

Вы вообще в курсе, что умеет airflow?

Подождите, но в монолиты же мерджат десятки команд...

базово работал, но там было именно “подложили/git pull” на папке с дагами, смотрится это не очень если честно

есть опыт работы когда изменения в бд/ещё куда-то через gitops организованы, постоянно было проблемой через сколько это запустится

в моём случае часть задач под запуск once вот прямо сейчас
следовательно ожидать пока тебя замержут это потеря времени, я просто тестирую свою ветку на выполнение

Какие то сферические процессные проблемы

Возникает вопрос: зачем вам сервис, чья задача “запуск по расписанию”, для запуска задач с @once ?

сервис является точкой входа как для скедулинга, так и для одноразовых выполнений (что является вырожденным случаем заскедулить на now)

Argo точно, у них и CI/CD есть очень удобный

спасибо, покопаю глубже