ВН
коллеги для сервисов крутящихся в кубернейтс какой лучший способ дать им хранилище для файлов, как RBD диск через CSI драйвер подключать persistent volume или все таки как object store использовать через S3 ?
лучше конечно через S3 (если можно)
Size: a a a
2020 June 05
ВН
и ceph в самом кубере нормально поднимать операторами типа rock или не лучшая идея и все таки отдельно его разворачивать
хуёвая затея, хотя по ходу форсится аффтарами. лучше отдельно
V
можешь подсказать по обоим пунктам свое мнение? почему S3 предпочтительнее RBD и почему не в кубере
ВН
можешь подсказать по обоим пунктам свое мнение? почему S3 предпочтительнее RBD и почему не в кубере
потому что кубер - ебанутая переусложнённая система, цеф - тоже довольно ебанутая и переусложнённая, а вместе - ко-ко-комбо
V
тож так думаю да)
V
субд отдельно, файлы отдельны, в кубере только stateless
ВН
а S3 лучше как минимум потому, что RBD в кубере (да и цеффс) это кернел драйвер
ВН
и если цеф кластеру становится плохо тогда, когда кто-то что-то из него читает, то процесс может залипнуть в D состоянии, из которого его выведет только перезагрузка
ВН
кубер даже контейнер убить не сможет
V
с nfs в hard режиме также
AM
Александр Скобельцын
Ребят, доброго времени суток. Есть идеи, как отыскать оставшиеся пару недобитых Jewel-клиентов?
"client": [
{
"features": "0x27018fb86aa42ada",
"release": "jewel",
"num": 2
},
{
"features": "0x2f018fb86aa42ada",
"release": "luminous",
"num": 130
Команда ceph tell mds.X client ls не показывает ни одного клиента (все клиенты centos 7) с версией ядра ниже 5.3.7-elrepo.
ceph auth инфу про коннект клиентов не выводит, только факт наличия кейринга.
RBD все специально отмапил...
Что, где еще посмотреть можно??
"client": [
{
"features": "0x27018fb86aa42ada",
"release": "jewel",
"num": 2
},
{
"features": "0x2f018fb86aa42ada",
"release": "luminous",
"num": 130
Команда ceph tell mds.X client ls не показывает ни одного клиента (все клиенты centos 7) с версией ядра ниже 5.3.7-elrepo.
ceph auth инфу про коннект клиентов не выводит, только факт наличия кейринга.
RBD все специально отмапил...
Что, где еще посмотреть можно??
ceph на мдс
sudo ceph daemon mds.$(hostname) session ls
sudo ceph daemon mds.$(hostname) session ls
V
если нфс отваливается подключенный как persistent volume то весь кластер падает
ВН
если нфс отваливается подключенный как persistent volume то весь кластер падает
вот, но в nfs хоть софт режим есть, а в цефе нет))
V
печально
ВН
единственно я вот не знаю - если в кубер засунуть какие-нибудь qemu microvm вместо контейнеров, тогда он будет юзать librbd и можно будет убить процесс qemu
ВН
но это я так понимаю извращаться надо
V
это нафиг
V
D состояние процесса это что&
АС
ceph на мдс
sudo ceph daemon mds.$(hostname) session ls
sudo ceph daemon mds.$(hostname) session ls
так то же самое показывает, что и client ls
АС
D состояние процесса это что&
Uninterruptable sleep