В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

677 membersпожаловаться на группу
2017 December 20

ДС

Дина Сафина in Airflow
Igor
Так а в чём проблема поставить щедулер проверять раз в полчаса и если ничего нового нет то тут же выходить а если есть то дёргать другой даг?
Да, точно. Мы делали бесконечно-зацикленный таск (c schedule_interval="@once"), он раз в обозначенный период дёргает нужную функцию.
источник
19:02пожаловаться#1

П

Павел Максимов in Airflow
ребят, генерирую таски, получается каша какая-то))) подскажите, где ошибка?
источник
20:21пожаловаться#2

П

Павел Максимов in Airflow
должно так быть, для каждого клиента
источник
20:22пожаловаться#3

ДС

Дина Сафина in Airflow
Я пока вижу, что create_config не параметризован и возможно затирается.
А что можно start >> task делать вижу в первый раз. Мы всё больше task.set_upstream(start) делаем.
источник
20:24пожаловаться#4

П

Павел Максимов in Airflow
Дина Сафина
Я пока вижу, что create_config не параметризован и возможно затирается.
А что можно start >> task делать вижу в первый раз. Мы всё больше task.set_upstream(start) делаем.
https://airflow.apache.org/concepts.html#bitshift-composition
источник
20:26пожаловаться#5

I

Igor in Airflow
Павел Максимов
ребят, генерирую таски, получается каша какая-то))) подскажите, где ошибка?
надо каждый путь прописать для каждой таски
источник
20:27пожаловаться#6

I

Igor in Airflow
типа там будет
start >> auth_proskater >> export_ids_adkeywords >> create_config
auth_proskater >> export_keywords_adkeywords >> create_config
auth_proskater >> export_ads_proskater >> create_config
источник
20:28пожаловаться#7

П

Павел Максимов in Airflow
Igor
типа там будет
start >> auth_proskater >> export_ids_adkeywords >> create_config
auth_proskater >> export_keywords_adkeywords >> create_config
auth_proskater >> export_ads_proskater >> create_config
вся соль в том, что он должен генерировать исходя из активных клиентов, это я тут прочел
https://habrahabr.ru/company/mailru/blog/339392/
Хабр
Airflow — инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки данных
Привет, Хабр! В этой статье я хочу рассказать об одном замечательном инструменте для разработки batch-процессов обработки данных, например, в инфраструктуре кор...
источник
20:29пожаловаться#8

ДС

Дина Сафина in Airflow
Павел Максимов
https://airflow.apache.org/concepts.html#bitshift-composition
Added in Airflow 1.8
но у нас с 1.7.1 тоже работает
источник
20:29пожаловаться#9

П

Павел Максимов in Airflow
Дина Сафина
Я пока вижу, что create_config не параметризован и возможно затирается.
А что можно start >> task делать вижу в первый раз. Мы всё больше task.set_upstream(start) делаем.
не параметризован это что значит?
источник
20:32пожаловаться#10

П

Павел Максимов in Airflow
Павел Максимов
не параметризован это что значит?
понял
источник
20:33пожаловаться#11

ДС

Дина Сафина in Airflow
источник
20:33пожаловаться#12

П

Павел Максимов in Airflow
Дина Сафина
да, причина была в этом, спасибо!
источник
20:37пожаловаться#13

ДС

Дина Сафина in Airflow
👍
источник
20:37пожаловаться#14

ДС

Дина Сафина in Airflow
Спасибо за >>!!!
источник
20:37пожаловаться#15

П

Павел Максимов in Airflow
Дина Сафина
Спасибо за >>!!!
🙂
источник
20:38пожаловаться#16

МС

Максим Сёмочкин in Airflow
Дина Сафина
Спасибо за >>!!!
Я смотрю вы наверное апдейт уже запланировали :)
источник
20:43пожаловаться#17

ДС

Дина Сафина in Airflow
Так на 1.7.1 внезапно работает :-)
источник
20:44пожаловаться#18
2017 December 22

П

Павел Максимов in Airflow
Привет ребят, а вы пробовали генерировать таски с BranchPythonOperator ?
источник
15:50пожаловаться#19

ДС

Дина Сафина in Airflow
Именно генерировать? А что за задача?
источник
15:51пожаловаться#20