N
к s3 ты с любого пода можешь обращаться, а к rbd только с того пода куда он будет примонтирован.
ну и прибьешь стейтфулсет, а rbd разделы потом хз как цеплять к тем же стейтфулам.
возможно ceph-csi как-то хранит это сопоставление в объектах rados к какому стейтфулсету какой раздел цеплять, но в rbd-provisioner этого я не нашел.
и с s3 контейнеры реально stateless и можно кластер весь дропнуть и накатить в случае проблем, а данные в s3 остануться. с rbd такое счастье только с бекап-тулзами типа velero может сработать. и всё это, естественно, при условии цефа вне кубера)
ну и прибьешь стейтфулсет, а rbd разделы потом хз как цеплять к тем же стейтфулам.
возможно ceph-csi как-то хранит это сопоставление в объектах rados к какому стейтфулсету какой раздел цеплять, но в rbd-provisioner этого я не нашел.
и с s3 контейнеры реально stateless и можно кластер весь дропнуть и накатить в случае проблем, а данные в s3 остануться. с rbd такое счастье только с бекап-тулзами типа velero может сработать. и всё это, естественно, при условии цефа вне кубера)
Связка rook и provision volme точно создает каждому pod в statefulset свой rbd, который не удаляется при скейлинге и вроде даже при удалении statefulset (в документации kubernetes можно уточнить наверняка).
