V
у меня нет пока ceph. так интересуюсь стоит ли
Size: a a a
2020 June 05
AK
Александр Скобельцын
Ну я вот хз в каком состоянии будет процесс, если он делал что то, связанное с IO поверх rbd, а rbd отвалилось и не подмапливается... Вероятно как раз D
При librbd нет, а при krbd да
V
При librbd нет, а при krbd да
а в каком случае каждый из них используется?
AK
# rbd map ... == krbd
librbd используется во всяких qemu
librbd используется во всяких qemu
V
то есть persistent volume для кубера то будет krbd и Uninterruptable sleep если ceph-у плохо, и вся нода к которой примаплен диск упадет, как и с nfs
AK
А ХЗ. Может они используют qemu-nbd. Они же укуренные (чтобы хуже не сказать)
PA
всем привет, парни, а кто-то боролся с выжиранием проца осдшками?
с течением времени рандомные осд начинают хавать до 10-12 ядер и тормозить
рестартишь их - другие осд начинают есть проц
с течением времени рандомные осд начинают хавать до 10-12 ядер и тормозить
рестартишь их - другие осд начинают есть проц
PA
кластер почти ничем не занят, около 200 иопсов суммарно, 12 шпинделей с бкешем на нвм, 170.02M objects
АС
Я уже заебался эту команду писать всем ))
О да, это она)) Спасибо
V
А ХЗ. Может они используют qemu-nbd. Они же укуренные (чтобы хуже не сказать)
V
кто они укуренные?)
AK
Кубернетчики
AM
всем привет, парни, а кто-то боролся с выжиранием проца осдшками?
с течением времени рандомные осд начинают хавать до 10-12 ядер и тормозить
рестартишь их - другие осд начинают есть проц
с течением времени рандомные осд начинают хавать до 10-12 ядер и тормозить
рестартишь их - другие осд начинают есть проц
нет такой проблемы
IF
всем привет, парни, а кто-то боролся с выжиранием проца осдшками?
с течением времени рандомные осд начинают хавать до 10-12 ядер и тормозить
рестартишь их - другие осд начинают есть проц
с течением времени рандомные осд начинают хавать до 10-12 ядер и тормозить
рестартишь их - другие осд начинают есть проц
perf top для начала курни
ВН
RBD там и CephFS ядерные, я в тестовом кластере D ловил
ВН
да, если накуриться и реэкспортнуть CephFS через NFS (через гавняшу), а потом подмонтировать в кубер как NFS с soft, то вот, возможно будет норм. но это накур и тормоза
V
остается только s3 ?)
ВН
ну и я говорю - тогда уж может лучше с microvm извратиться
ВН
остается только s3 ?)
ну s3-то вообще сам бог велел
AS
остается только s3 ?)
к s3 ты с любого пода можешь обращаться, а к rbd только с того пода куда он будет примонтирован.
ну и прибьешь стейтфулсет, а rbd разделы потом хз как цеплять к тем же стейтфулам.
возможно ceph-csi как-то хранит это сопоставление в объектах rados к какому стейтфулсету какой раздел цеплять, но в rbd-provisioner этого я не нашел.
и с s3 контейнеры реально stateless и можно кластер весь дропнуть и накатить в случае проблем, а данные в s3 остануться. с rbd такое счастье только с бекап-тулзами типа velero может сработать. и всё это, естественно, при условии цефа вне кубера)
ну и прибьешь стейтфулсет, а rbd разделы потом хз как цеплять к тем же стейтфулам.
возможно ceph-csi как-то хранит это сопоставление в объектах rados к какому стейтфулсету какой раздел цеплять, но в rbd-provisioner этого я не нашел.
и с s3 контейнеры реально stateless и можно кластер весь дропнуть и накатить в случае проблем, а данные в s3 остануться. с rbd такое счастье только с бекап-тулзами типа velero может сработать. и всё это, естественно, при условии цефа вне кубера)