YE
Внешний. CM его не видит. На сервере есть клиентские либы hive/hdfs/yarn/spark
Size: a a a
2018 January 12
YE
Сейчас вообще один сервер под все службы/процессы airflow
YE
Разносить планируем в этом году
SS
у нас пока тоже в докер-образ для airflow-worker инсталлированы все клиентские либы хадупа
в ближайшее время хочу перевести его на тонких клиентов - httpfs и beeline с kerberos
в ближайшее время хочу перевести его на тонких клиентов - httpfs и beeline с kerberos
SS
коллеги, кто-то уже пробовал Airflow 1.9 ? какие субъективные впечатления?
JS
и всё-таки ребята, объясните для "дурака", кто запускает airflow
JS
задачи из cron - запускет демон
SS
вас интересует, кто запускает процессы Airflow или кто/как запускает таски внутри дагов airflow?
OI
Celery. Есть шедулер, который по сути воркер celery, он ставит в очередь (через redis или rabbitmq) задачи, которые потом запускаются на других воркерах
ну если я правильно понял вопрос
ну если я правильно понял вопрос
YE
задачи из cron - запускет демон
Если по аналогии с этим, то - https://airflow.apache.org/scheduler.html
I
коллеги, кто-то уже пробовал Airflow 1.9 ? какие субъективные впечатления?
Отлично, появились несколько прикольных фишек
OI
Отлично, появились несколько прикольных фишек
говорят, есть проблемы с Celery
OI
но я не пробовал)
JS
вас интересует, кто запускает процессы Airflow или кто/как запускает таски внутри дагов airflow?
как организован запуск самого Airflow
JS
например после перезагрузки сервера
I
как организован запуск самого Airflow
У меня через supervisord
JS
что?
JS
а можно конфиг supervisor-a
JS
кусок отвечающий за Airflow
JS
часть нашего велосипеда просто также через супервизорд