А в целом... Какие лучшие практики использования ванили? Ну там вроде нет никаких готовых средств управления типа как у клаудеры или арена даты на основе амбари или чего то аналогичного. Получается что надо ставить все самому, вручную настраивать в том числе и тот же керберос, а далее писать какие то свои утилиты для управления этим всем, так как без них я не представляю как рулить кластером на десятки/сотни нод ? Например таже выдача прав , прикрутить тот же ranger/sentry к ванили выглядит очень не простой задачей... Или может есть какие то готовые утилиты что сильно облегчают жизнь для такой задачи?

вся идея использования ванили в том что организация становится master of my own destiny, она полагается на ASF в части гарантий по коду, а дальше все сама разрабатывает.. а если она не хочет или не умеет сама разрабатывать тулинг - она может заплатить за него вендорам дистрибутивов или консалтинговым компаниям..

а зачем при таком сетапе вообще ставить Hadoop? не проще ли раскатить k8s поверх этих ресурсов, minio + spark on k8s + presto + superset? Вроде для всех технологий даже helm chart-ы есть

а зачем локалити если оно в объектом хранилище будет лежать совсем не на той ноде

о том и речь.  будет ли это работать, если спарк там, а данные сям