Граждане, подскажите пожалуйста, кто знает - как лучше хранить несколько десятков миллионов файлов размером от пары килобайт и до нескольких мегабайт? Сейчас это все лежит на DFS, что несколько неудобно в плане резервного копирования например. Пробовали недавно riak kv в кластере, но там своих граблей тоже достаточно
Для себя вижу 1 вариант только S3 хранилище.
Три реализации:
1. S3 Amazon
2. Ceph + Gateway S3
3. minio S3 + реплика