Добрый день!
правила хорошего тона размещать мощности и хранилище на разных серверах.
1. Небула установлена на 3+ хостах. Галера кластер + HA с использованием corosync и pacemaker.
2. Цеф использую на двух кластерах. Диски живут в RBD.
3. Ceph селить отдельно, плюсов размещать хранилище там же, где и мощности - нет.
Нюансов много, начиная от DDoS-атак, скрабинга, восстановления в случае отказа и прочих факторов.
4. Для любой живой миграции требуется единое хранилище, если речь идет о Ceph, то да - диск должен быть в пуле ceph.
5. ovs ранее использовал, были ошибки, поэтому отказался, новую версию еще не пробовал.