SSD мы как раз используем в штатной корзине, конфигурация обычно RAID-6 + SSD-кэш. Только вот результаты взрывают мозг - уже 2-3 года стабильно работает кэш на дешмани вроде adata или smartbuy, а вот intel серии 545s гарантированно сдiхают уже через месяц-два-три. Причём никаких MLC/QLC, только TLC. Для меня это абсолютная загадка, как так проиходит. Нагрузка, конечно, приличная, но и те старые почему-то ещё живут. Просто мистика какая-то.

мож там записи мало на них? или нагрузка одинаковая?

Нагрузка там на уровне ≤ 20 vm на ноду, но внутри СУБД различные. Не использовать SSD - не вариант.

хз, у нас микроны самые дешманские на 960 хорошо жили на кэш пару лет назад, ща проще двухтерабайтников по 500 баксов набрать, чем с кэшем воевать. Ну или вынести на чистый ссд базы хотя бы.

Пробовали комбинацию 4xNVME на PCI-E x16 плате, Gen8 видит в лучшем случае 2. И вот тоже хуй пойми, это NVMe битые (1 dead on arrival точно была), плата дефектная, райзер на серваке разводит x8 в x16 слоте, или комбинация этих факапов.

Странно, в консьюмерских компах работает (по словам производителя). Сама карта тут описана.

Нет, далеко до ceph, более того, где можно обойтись без ceph - лучше туда не лезть. Это отдельная песня, куда более "тонкая" и чувствительная ко всякому, чем zfs даже :)

Кроме того, ceph условно начинается с 3 узлов хранилища и то в варианте для тестов погонять, в продакшн нужно минимум 5 ставить... и это для скромного ceph хранилища. Вопрос, с какого размера кластера рабочих нод можно начинать разговор про выделенные 5 нод по ceph?

Я уже не говорю про требования к сети, к железу (процам), и при всем этом latency всегда будет больше чем через 1гбит сеть на iscsi :)

P. S. Если у вас есть ceph как система хранения, созданная под те задачи где она нужна, и вы сбоку хотите крутить насколько десятков виртуалок не особо требовательных к lat и операциями записи в один поток, то в принципе можно. Делать отдельный ceph кластер как хранилище образов виртуалок под систему виртуализации -- это ещё нужно доказать, что оно вам хоть как-то оправдано (95% нет), по сравнению с другими более простыми решениями (в первую очередь iscsi или fc хранилками). Я тут даже не начинаю обсуждать нюансы.