доклад супер ваще 👍 обязательно приходите через год рассказывать как у вас дальше эволюция пошла и куда это всё развилось!

спасибо

спс =)) нам самим интересно куда это все эволюционирует))

Hot 🔥🔥🔥🔥🔥

НЕЕЕЕЕЕТ! ОАГ - Ориентированный Ациклический Граф

Православно

Почти ОМГ )))

Почти идеально

Господа, простите за нубский вопрос. Но всё же.
Есть тачка на которой вертится аирфлоу а старой первой версии.
Дагов немного штук 40, три из них с большим количеством тасок в основном это бигквери операторы и немного нетяжелого питонячего кода. Всё это ранается на тачке с 16 гигами оперативы и локал экзекьюторе. Вопрос стоит ли всё это перевозить на селери экзекьютор?

Как понять какой экзекьютор использовать?

Ну если нормально работает – то не надо перевозить)

Вполне

Локала пока хватает и нет такого кол-ва тасок, и не планируется пока что

Ну если и так все работает, зачем тебе еще одно звено в виде брокера сообщений добавлять?

Я по этому и интересуюсь так как есть сомнения в избыточности

Celery нужен, чтобы выносить операции, которые потребляют много ресурсов, на отдельные ноды. После завершения работы с одним таском воркер на такой ноде возьмёт из очереди другой таск, и будет использовать освободившиеся ресурсы. Разные воркеры могут получать задачи из разных очередей, таким образом можно разделить таски по типам используемых ресурсов - одним нужны GPU, другим нет, третьи должны запускаться ближе к данным, чтобы меньше передавать по сети. А на хосте с Airflow будет только UI, шедулер и очередь, их ничего не будет тормозить

Если все это вам не нужно, то смысла наверное нет

блин я бы наоборот поменял на 8 гб оперативки

и базу с постгрес на sqlite