Хотя это выдумки. Лучше как проще и разделять airflow от hadoop-а
Юрий, у вас машина, на которой работает airflow-worker, включена в кластер Хадупа? управляется CM/Ambari? или это внешний сервер, с которого вы коннектитесь к WebHDFS/Hive через kerberos?