воркеров 60, а вот где пул сайз можно увидеть?

🤔 airflow.cfg

вообще вся эта сериализация сейчас какая-то странная, типа в том виде как сейчас она решает очень небольшую проблему (скорость загрузки дагов в холодном старте?) и типа от того что она есть ни горячо ни холодно в большинстве случаев

также в ресурсы БД можно упереться

это просто удобно, на выходе из пайплайна у нас получается 1 артефакт, в котором лежат все необходимые конфиги дагов, дагогенератор, кастомные операторы и либы. Деплоить по одному файлу не очень удобно с той точки зрения что при удалении файлов начинаются пляски с тем а как этот удалившийся файл в репе удалить на проде =))

это решается дополнительной машинерией вроде сравнения директорий на airflow и с исходным кодом. да, это дополнительная прослойка, но это незначительное усложнение, к тому же которая никак не влияет на стабильность работы: сломается и хер с ней, можно руками дропнуть даги.
Просто если у вас, например, 500 дагов, а надо задеплоить всего 1, то выглядит странно - упаковать все 500 и задеплоить их.
К тому же в остальные 499 дагов могли быть внесены изменения, может даже с багами, а вы их выкатываете...

спасибо!

а исходный код откуда взять? на прод подтянуть репу? тогда зачем вообще что-то деплоить можно git pull и понеслась. Но это не решит проблему того что в мастер ветке оказались бажные даги и откат будет через git revert на который нужно время пока будут работать бажные даги.

Если дифф есть у всех 500 дагов из которых 1 нормальный а остальные 499 бажные как вы автоматикой предлагаете определять что деплоить а что нет?))

Вариант с зипом позволяет быстро откатиться и потом уже разбираться что рабочее а что нет и почему рабочее попало в стабильный мастер

открою секрет, скорее вы начнете упираться в scheduler heartbeat, который работает через базу, чем в базу от сериализации - это факт, с которым мы столкнулись, сидя на говносервере и соседствуя с упоротыми бекендерами с oltp...

Игорь, а ты пробовал, чтобы так категорично заявлять? 😬 У нас вот практика обратная совсем...

В нашем случае можно деплоить из любой ветки. Деплой через git pull не подойдет в таком случае

вообще не проблема, через CI/CD же решается...

Что простите?) Не понял про секрет

посмотрите, как работает scheduler heartbeat

зачем? у нас всё работает

затем, что вы начали про "упираться в базу от сериализации", я же говорю, что от сериализации вы не упретесь и скорее упретесь в scheduler heartbeat

прошу прощения, но не понимаю о чем вы. вероятно вы потеряли контекст сообщений

также в ресурсы БД можно упереться

окей

да :) ну в смысле я не отрицаю что сериализация заметно полезная штука, но я-то хочу сериализацию чтобы версионирование было