SS
вы ведь не будете валить все sql/sh-файлы рядом с дагами
bash_command='/path/to/file/templated_command.sh'? Все как-то по-хитрому делается?)Size: a a a
2018 January 11
OI
А нельзя написать
SS
задаете значение для параметра "template_searchpath" для вашего Дага, именно в этом каталоге будут искаться файлы-шаблоны для рендеринга
SS
я не пробовал указывать абсолютный путь, полагаю, что можно - мне это кажется не кошерным
OI
о как) Еще раз большое спасибо!
2018 January 12
JS
Привет, только начал изучать airflow - и первый же вопрос - airflow - работает как сервис или как...не понимаю
SS
привет! нет
в интернете есть примеры настройки его работы через systemd/upstart/supervisord
https://github.com/apache/incubator-airflow/tree/master/scripts/systemd
https://github.com/apache/incubator-airflow/tree/master/scripts/upstart
в интернете есть примеры настройки его работы через systemd/upstart/supervisord
https://github.com/apache/incubator-airflow/tree/master/scripts/systemd
https://github.com/apache/incubator-airflow/tree/master/scripts/upstart
SS
учтите, что Airflow - это комплекс из нескольких процессов, упрощенно:
1) СУБД метаданных
2) веб-сервер
3) шедулер
4) воркер
1) СУБД метаданных
2) веб-сервер
3) шедулер
4) воркер
МС
4 пункт опционален
JS
я просто пытаюсь понять
SS
4 пункт опционален
согласен, воркер нужен когда используется не LocalExecutor
но на LocalExecutor очень много плюшек Airflow не видны
но на LocalExecutor очень много плюшек Airflow не видны
JS
в какой момент он работает?
I
в какой момент он работает?
вы понимаете как работает какой-нибудь другой планировщик, cron тот же?
МС
Кто он?
JS
да про cron понятно
JS
объясню, я просто всю продешую неделю пытался использовать apache nifi - но после тестов, и статей ребят от Mail.ru - решил посмотреть на airflow
SS
очень много?
- возможность перезапуска отдельных тасков
- возможность размазывания исполнения тасков по разным узлам кластера
- возможность размазывания исполнения тасков по разным узлам кластера
SS
объясню, я просто всю продешую неделю пытался использовать apache nifi - но после тестов, и статей ребят от Mail.ru - решил посмотреть на airflow
для чего именно пытались использовать? если для стриминговой обработки - то NiFi лучше
I
- возможность перезапуска отдельных тасков
- возможность размазывания исполнения тасков по разным узлам кластера
- возможность размазывания исполнения тасков по разным узлам кластера
На теорфизе нас учили что значок "много больше" это когда "хотя бы в три раза". Я, конечно, придираюсь, но у аирфлоу полно плюшек с локальным экзекьютором которые дают ему право быть почётным участником процесса