В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1651 membersпожаловаться на группу
2021 October 31

AM

Aлексей Mатюхин... in Airflow
Можно, хорошая идея. Но, в эирфлоу в коннекшенах лежит подключение, которое используется для получения параметров из базы. Плюс, хочется иметь возможность на лету все ДАГи перегенерировать запустив мастер ДАГ!
источник
21:04пожаловаться#1

ММ

Максим Мартынов... in Airflow
На крайний случай попробуй в ui, scheduler и worker пробрасывать даги через PV, но это тот еще отстой. Вся текущая схема выглядит переусложненной
источник
21:06пожаловаться#2

I

Igor in Airflow
если у тебя этот шаг спрятан в твой CI/CD то какая разница где кнопку "плей" нажать? А так будет явная ивентаризация запусков
источник
21:07пожаловаться#3

AM

Aлексей Mатюхин... in Airflow
Постановка задачи такая: нужно иметь возможность перегенерировать ДАГи, не перезапуская эирфлоу. В этот момент на эирфлоу может даже что-то исполняться...
источник
21:09пожаловаться#4

I

Igor in Airflow
ну так блин, и эирфлоу можно не перегружать :)
источник
21:11пожаловаться#5

AM

Aлексей Mатюхин... in Airflow
Ну а как не перегружать, если ДАГи запекаются в образы и потом исполняются?
источник
21:11пожаловаться#6

AM

Aлексей Mатюхин... in Airflow
Второй день пытаюсь. Это просто миссия не выполнима
источник
21:12пожаловаться#7

I

Igor in Airflow
А куда-нибудь в shared volume даги нельзя засунуть?
источник
21:12пожаловаться#8

AM

Aлексей Mатюхин... in Airflow
Ну это же кубер. Я не смог...
источник
21:13пожаловаться#9

AM

Aлексей Mатюхин... in Airflow
В докер компоузе, вообще никаких проблем, а тут, вообще какая-то шляпа(
источник
21:14пожаловаться#10

v

vasiliy in Airflow
Гляньте в сторону официального хельм чарта, там есть гит сайдкар контейнер
источник
21:14пожаловаться#11

v

vasiliy in Airflow
Все работает из коробки
источник
21:14пожаловаться#12

v

vasiliy in Airflow
Просто каждые 60 секунд на каждый воркер чекаутит репу с дагами, вам просто их в гите нужно хранить
источник
21:15пожаловаться#13

v

vasiliy in Airflow
И правильно указать директорию с дагами в этой репе
источник
21:15пожаловаться#14

VS

Vladislav 👻 Shishkov... in Airflow
Сам атлас
источник
21:15пожаловаться#15

v

vasiliy in Airflow
Каждый воркер создаётся с 2 контейнерами в поде, один из них гит клонер этот
источник
21:16пожаловаться#16

AM

Aлексей Mатюхин... in Airflow
Не совсем понял, как это.
источник
21:17пожаловаться#17

AM

Aлексей Mатюхин... in Airflow
У меня в каждом поде по одному контейнеру. Включая воркер
источник
21:18пожаловаться#18

v

vasiliy in Airflow
Посмотрите официальный хельм чарт, там есть описание гит контейнера. Туда суете репу которую клонить, и на каждый воркер раз в 60 сек будет клонится репа
источник
21:18пожаловаться#19

v

vasiliy in Airflow
Хельмом разворачивали?
источник
21:18пожаловаться#20