В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1651 membersпожаловаться на группу
2021 October 29

VS

Vadim Sukhanov in Airflow
А мы на прод деплоим только стабильный код который попадает в мастер, для всего остального тестовые стенды))

А как вы потом через пол года определяете из какой ветки был раскачен даг который  давно работает, его не замержили в мастер(не в курсе вашего гит флоу) и у которого почему то есть несколько версий в разных ветках ?
источник
11:31пожаловаться#1

VS

Vladislav 👻 Shishkov... in Airflow
ну оно есть в зачатках уже, по крайне мере, мы вот на дня отказались от постфиксов ввиде крона и теперь можно ренеймить и менять время без проблем
источник
11:32пожаловаться#2

I

Igor in Airflow
Нуу дааа, это хорошо
источник
11:32пожаловаться#3

VS

Vadim Sukhanov in Airflow
и проблем прям нет при смене start_date?
источник
11:34пожаловаться#4

VS

Vadim Sukhanov in Airflow
а версия какая?
источник
11:34пожаловаться#5

P

Pavel in Airflow
значит у вас хорошо, вам повезло, есть тестовый стенд и ресурсы на всё это. мы 2 года живем в проде без тестового стенда, деплоят на прод прототипы дагов, даже при желании небольшие даги потестировать на прод-кластере можно, по завершению работы даг вливается в мастер.
источник
11:34пожаловаться#6

VS

Vladislav 👻 Shishkov... in Airflow
речь про крон время
источник
11:35пожаловаться#7

VS

Vladislav 👻 Shishkov... in Airflow
со start_date там тоже вроде плюшку завезли в 2.1.4
источник
11:35пожаловаться#8

VS

Vadim Sukhanov in Airflow
сорян, не так прочитал))
источник
11:35пожаловаться#9

I

Igor in Airflow
От версионирования хочется же типа "запустить даг таким-то айди в таком-то диапазоне дат и такой версии" и потом в рендере в логах видеть структуру и логи и всё это соответствующей версии :))
источник
11:36пожаловаться#10

VS

Vladislav 👻 Shishkov... in Airflow
ну это как в майлстоунах, хочется да, но думаю не раньше 2.3
источник
11:36пожаловаться#11

VS

Vadim Sukhanov in Airflow
а, тогда ясно, у вас прод это большой полигон для боли))
источник
11:36пожаловаться#12

I

Igor in Airflow
Ну вот, да

И моё ментальное искажение относительно сериализации это как раз типа "ну раз версионирования нет то и сериализация пока что бесполезна"

Конечно, это неадекватно и понятно что это разная функциональность, но на то оно и искажение :D
источник
11:38пожаловаться#13

VS

Vladislav 👻 Shishkov... in Airflow
Ну не, сериализация с историей связана очень слабо, там свои плюсы, как и минусы
источник
11:38пожаловаться#14

P

Pavel in Airflow
да, мы выбрали свой путь 🙂 деплой дага - это каждому на свой вкус и цвет, хочешь зип, хочешь по файлу деплой.
источник
11:39пожаловаться#15

VS

Vadim Sukhanov in Airflow
Ну да, я не говорю что наш вариант истинно верный, мы к нему пришли эволюционным путем и это то чем мы вцелом довольны на текущий момент.
источник
11:41пожаловаться#16

P

Pavel in Airflow
совершенно верно, если это работает, то значит стратегия +- правильная выбрана была)
сильно зависит от других факторов: где у вас это всё работает, на кубе или просто в докере на железках, есть ли HPA и пр. механики
источник
11:45пожаловаться#17

VS

Vadim Sukhanov in Airflow
как раз в докладе мы и рассказывали свою историю))

раньше это был докер компоуз на отдельных виртуалках(1 прод и 4 тестовых стенда), сейчас прод + пофичные тестовые стенды на кубере с управляемым временем жизни стенда))
источник
11:49пожаловаться#18

АП

Аркадий Паровозов... in Airflow
привет всем!
Кто-нибудь сталкивался с подобным поведением дагов?
источник
11:49пожаловаться#19

I

Igor in Airflow
либо trigger rule потерялся либо что-то накручено с depends_on_past/wait_for_downstream либо всё вместе
источник
11:52пожаловаться#20