Вариант с хранилкой хуже :
Ценой
завязкой на вендора
если хранилка дешёвая то ещё надёжность

Железка - тоже не плохой, но зесь я не подскажу, привык сам всё стоить :)

@ko_dar  а ты уже модели примерно хотя бы присмотрел? я тут замарачивался на эту тему.

Да, я понимаю 😊

Про хранилку - я думаю про Lenovo Thinksystem DS2200
На тему дорого - это ещё как посмотреть
В случае 3 нод DRBD9 надо иметь 3 ноды с дисковым массивом полного объёма, причем очень желательно RAID6
В случае железячной хранилки - нужно иметь хранилку с одним массивом, и скорее всего два довольно лёгких сервера (я что-то пока не вижу выгоды от 3 нод в таком случае)
в общем стоимость сопоставимая
насчет vendor lock я не боюсь, потому что мы всё равно всё железо арендуем, так что его можно довольно легко менять

Я всвоём случае остановился на Ceph.
И пока доволен.
Но у меня есть ресурсы для управления и т.д.

Причём я не критичные данные храню с рф3 критичные с рф3
как приедут суперкритичные сделаю рф5

Понял. Но у меня вообще нет пока ресурсов на Ceph, команда небольшая а инфраструктура и так непростая

вот я и думаю как бы сделать чтобы всё требовало минимальной поддержки

ceph нереально ресурсов выжирает

Ну я видимо пока не столкнулся.

а у вас нагрузка большая? - как именно ceph используете?

Пока тестовый запуск  сторадж для прокса.

По нагрузке, билдагенты с кассандрами, кеши для сборки юнити.
Ну в пике на запись видел около 10Гб/с

зачем такой большой RF фактор? целых 5

Потому что если эти данные протеряются меня повесят.

ое )) знакомые все люди ))

репликация, бэкап?

фактор репликации не решает того факта, что ceph может накрыться

Чтобы при отказе  части стораджа сервис продолжал работать тоже важно.