Отвечу с опсовой точки зрения, еще какой подарок, да, надо ковырять, понять что и как работает, но вот у меня стенды airflow уже года 2 и проблем из-за airflow не было практически

это не прям что высокая планка

Планка чего? Если брать какой-нибудь крон, то боли вагон. Брать альтернативные шедулеры - то они не заточены на обработку данных.

Это все логи, логов контейнеров нет, там пусто, так как они не стартанули

Блин чёт сложно кстати

Я не увидел ничего такого в логе, может кто-то ещё подскажет

Там где-то doAs, может что-то с юзерами на датанодах

спасибо

в конфигах hdfs-site.xml имеешь ввиду?

Из-под кого запускаешь?

И из-под кого должно в кластер-моде запускаться

Может там такого юзера нет

На тачке, на которую драйвер попадает

dfs.permissions.superusergroup вот сюда добавил группу в котрой есть юзер - но не помогло

Там ещё hadoop.proxyuser или типа того

Надо настроить

так, я проверю ща

чего я поел с airflow за последнюю пару недель:
- OAuth провайдеры через одно место сделаны, по клеймам нормально роли давать невозможо
- API версии 1 вообще можно за таковое не считать, в версии два получше но все равно огромные пробелы, никакого изменения самих дагов (его все еще предлагается через модную файловую систему менять), апишка логов например так сделано от обстукивания ему плохо становится
- безопасность API сделана тоже, эм странно (свои пользователи, имперсонацию нормально сделать невозможно, просто UI не использует эту апишку)
- даги задаются только через ФС, это нормально вообще?
- масштабирование все также блестяще сделано

после Argo просто жесть, как будто чей-то диплом выдали в продакшен запустить