а, типа прям в одном контейнере?))

Нет конечно. Я вот дев стенды сейчас поднимаю в 6 контейнерах: постгрес, реббит, вебсервер, шедулер, воркер, флавер

а какой профит от разделения по разным контейнерам шедулера и вебсервара? по памяти какие-то плюшки получаем?

Ну это прямо сильно:)

можно скейлить количество щедулеров отдельно

звучит интересно, а для какого кейса это полезно делать?

Подскажите, пожалуйста, как в GCP Logging подать логи от Airflow? Логи пишутся в определённый бакет в Storage, в соответствии с airflow.cfg, но как их открыть в Logs Explorer?

Похоже тебе необходим синк

cloud.google.com/ logging/ docs/ export/ configure_export_v2

То есть это будет переправлять логи из Storage в Logs?

Как минимум в паттернах: один контейнер - один процесс

У вас инстанс на сколько я понимаю не GCP Composer (as service airflow от гугла), и вы пишите логи в бакет через конфиг

Вся фишка в том что Cloud logging(GCL) понимает только формат json из GCS. А вы на сколько я понимаю хотите видеть логи тасок в GCL, а там не то. Короче надо вам jsonformater для этих делов. В принцепи ничего сложного но логи будут в json формате везеде

Погуглите 53016338 вопрос на StackOverflow, думаю это то что вам нужно (сорян, ни картинки, ни ссылки вставлять не могу)

Я пока локально запускаю, да, но планируется из Композера.
Я разведал, что с настройкой remote_base_log_folder Airflow пишет в просто Storage, а я хотел бы их получать в Logs Storage. Сейчас пытаюсь разузнать побольше про роутинг логов

Смотрите в сторону конфигов

log_filename_template - этой настройкой можете задать необходимую структуру папок
log_format- этой настройкой отформатировать логи в json формат для Cloud logging

Надо пробовать, но кажется что этого должно хватить для того чтобы настроить sink

Хорошо, спасибо! Попробую завтра на свежую голову)

Коллеги, кто-нибудь прикручивал атлас линэдж бэкэнд? Хочется оценить, насколько распространена темка в сообществе

Прикручивали, атлас говно, открутили обратно 😬

Коллеги, добрый день. Есть вопрос. Использую эирфлоу в кубере локально. ДАГи запекаю в образ и запускаю helm-ом. В основном ДАГе генерирую другие ДАГи. Но вот беда, я на воркере, могу положить в папку ДАГов воркера, а как их синхронизировать с шедулером и вебсервером, не знаю🤷‍♂️ Буду признателен за совет!

Генерируй даги отдельно на этапе раньше и подкладывай уже сгенеренное

Сам атлас говно или интеграция с Airflow?