Все зависит от бюджета.
Никто не запрещает размещать виртуальные сервера на тех же серверах, где работает и Ceph, но стоит заранее быть готовым к тому, что могут быть проблемы.
Во-первых, ресурсы, во-вторых случись чего с сервером, то выпадает сразу и хранилище и мощности.
В случае DDoS хранилище так же будет страдать, даже если имеется менеджмент сеть, есть вероятность того, что LA на сервере не позволит выполнить требуемые задачи, а это может выйти в потерю данных (тут уже все зависит от настроек ceph)