Детально конфигураций не прорабатывали

я сегодня рассказывал уже в одном чате про дистрибьютед кластер, но лучше автора процитирую

а сколько вы хранить то в s3 собираетесь?
насколько это важные данные?

Терабайты данных

Minio in this case is working as intended, minio cannot be expanded or shrinkable in this manner. Minio is different by design. It is designed to solve all the needs of a single tenant. Spinning minio per tenant is the job of external orchestration layer. Any addition and removal means one has to rebalance the nodes. When Minio does it internally, it behaves like blackbox. It also adds significant complexity to Minio. Minio is designed to be deployed once and forgotten. We dont even want users to be replacing failed drives and nodes. Erasure code has enough redundancy built it. By the time half the nodes or drives are gone, it is time to refresh all the hardware. If the user still requires rebalancing, one can always start a new minio server on the same system on a different port and simply migrate the data over. It is essentially what minio would do internally. Doing it externally means more control and visibility. Minio is meant to be deployed in static units per tenant.

Терять данные не хотим

Профиль нагрузки чтение/запись
сколько РПС
Откуда доступ

Написанное немного пугает с точки зрения роста по объемам. Если я правильно понял смысл

терабайты не для minio
идите в ceph
или в linstor https://github.com/kvaps/kube-linstor
а у вас продакшен какой? кубы или что-то свое?

Основная нагрузка по чтению. РПС - хз. Доступ - внутри сети от приложений

это касается дистрибьютед режима, если в текущем кластере кончилось место делаешь новый кластер и через федерацию из него данные читаешь, а запись лочится

Линстор это бекенд для хранения.
Но не для S3  апихи.

да, но может там надо не обязательно S3 ;)

С точки зрения ceph - здесь периодически проскальзывают кровь/кишки.

А есть где-то прямое сравнение вариантов?

Не. Я сейчас предметно именно про S3

Ну просто вряд ли только у меня такие вопросы возникали.

Если ты не знаешь РПСов то ты не виберешь  сервис для С3 потоум как это одна из основных метрик.

в южном парке серия была под номером 808 - Douche and Turd

Есть же S3 интерфейс для ZoL