На ванилу, если люди дешевые

Либо в облачко, если дорогие

смотря что делаете, для чего кластера используются, какая инженерная культура

Прям все на минималках, отчетность, два человека, 6 нод 180ГБ 144 Cores 65TB, если я правильно понял вопрос

просто пайплайны, или какой-то интерактив/адхок?

Да пайплайны на аирфлоу, отчеты в суперсете через импалу, чутка спаркМЛ

Кажется ваниллу самый верный вариант

кмк что угодно, объемы маленькие, видимо нагрузка не очень

хоть в PG

(правда придется переписывать)

ваниль с presto можно попробовать

жаль что вообще ничего не знаю как ставить ваниллу
мне нужен то хайв спарк

а apache bigtop что это нормуль

это средство для выпекания дистрибутивов

сильно по версиям отстает, если вы решите в ваниль идти - лучше без него

А есть какая-нибудь мощная ссыль по установки ванилы с всеми примочками

обычно калякают на ансибле, или что там ваш девопс умеет

а зачем при таком сетапе вообще ставить Hadoop? не проще ли раскатить k8s поверх этих ресурсов, minio + spark on k8s + presto + superset? Вроде для всех технологий даже helm chart-ы есть

А в целом... Какие лучшие практики использования ванили? Ну там вроде нет никаких готовых средств управления типа как у клаудеры или арена даты на основе амбари или чего то аналогичного. Получается что надо ставить все самому, вручную настраивать в том числе и тот же керберос, а далее писать какие то свои утилиты для управления этим всем, так как без них я не представляю как рулить кластером на десятки/сотни нод ? Например таже выдача прав , прикрутить тот же ranger/sentry к ванили выглядит очень не простой задачей... Или может есть какие то готовые утилиты что сильно облегчают жизнь для такой задачи?

Спасибо, не знал о таком решении