Не понятно, на чём ты собирать с 5gbps. Такие только "infra" сервера идут, а у них с разнообразием дисков не густо. Ну да не суть.
Они, кстати, в октябре грозятся дать 4*25Gbps для Infra и 2*25 + 2*50 для HG серверов. Тут интересно будет:)

ну да, nvme с такой сетью это грустно. а новость про октябрь интересная

@agutikov  а как ты отключал дискард у себя?

погонял тут rbd на октопусе

конфиг фио:

directory=/mnt
nrfiles=1
#nrfiles=1
size=1G
bs=8k
rw=randrw
direct=1
ioengine=libaio
iodepth=32
numjobs=100
rwmixread=70
runtime=600

bdev_чтототам_discard=false

Через ceph tell?

да, он применяется на лету

там же async есть ещё

bdev_enable_discard
bdev_async_discard

отключение async discard мне не помогло

короче у меня это ничего не поменяло

нвм-ки не разгрузились

год назад у меня похожая ситуация пофиксилась наоборот - включением дискарда
но на других дисках, вроде на интелах (но это не точно)
полагаю у меня это специфика этих микронов - они не дружат с тем как эта конкретная версия Ceph делает дискард (часто и маленькими кусками например)
немного напрягает предчувствие что через пару недель без дискарда (с моей скоростью записи) микроны начнут тупить потому что заполнится флешка, буду смотреть

а дипскрабинг (уже идущий) есть способ тормознуть?
ceph osd set nodeep-scrub как-то эффекта не оказывает

оказывает, просто команда дожидается скраба текущих, а новые не инициирует

так такещий может часа четыре завершать

что ж там за пг такие, что 4 часа скрабятся