Сделайте тредов 256 и увидеть 400мс. Это совершенно ни о чем не говорит

А можете 64 и будет latency меньше

Это кривой интерфейс HCIbench, треды тут обозначают глубину очереди.

Криво конечно, но будучи в карантине на даче качаю через телефон с синолоджи на комп шляпу всякую

График есть а выводы?

Ha всякий случай, 4-corners benchmark у X-ray показывает примерно те же самые результаты.

4 узла с 2-мя оптанами дают порядка 200к IOPS на запись при latency <2мс в госте

а вы 60 секунд тестируете?

Вот я и пытаюсь переварить результаты бенча и понять, ЧЯДНТ.
Капасити там говно, конечно, но по метрикам там даже до него не доходит.

время теста? прогрев? откуда 128 Threads?

workload set?

Время 300 сек., прогрев 60 сек. Workload 100%.

хех. Смотрите. Тестировать через HCIBench - просто

берете пусть по 2-4ВМ на хост. Дисков - 5-10 штук на ВМ. размер vmdk такой, чтобы суммарно занять 70% полезного объема кластера. Включаете тест с предварительной инициализацией (это самое долго, но делается 1 раз, если поставите галочку Save VM). После чего создаете профиль теста. Пусть 8к 100% Write. Active Workload set - 10-30%. Время теста 1800 Warm Up +1800 Test Time. NUmber of threads - создаете пачку тестов с последовательным увеличением числа тредов. Например, 2/4/8/12/16/32/64. Запускаете. Ждете ночь или сутки (в основном зависит от объема инициализируемых vmdk). Получаете пачку значений. Выбираете то число тредов, где вы получили устраивающие вас задержки, после чего запускаете тест 3600+7200 на этом числе +- пару соседних. Profit. Если хотите заморочится - на этом числе тредов запускаете тесты с разным iorate ( примерна граница сверху вам уже более-менее понятна) с тем шагом, сколько вы хотите - получаете график IOPS/Latency. Profit.

Повторить для всех нужных профилей все, кроме этапа создания ВМ, чтобы избежать еще одной инициализации. Если профилей много - первый тест можно обрезать до 1800+900. Второй до 1800+3600. Но потеряете в точности.

Как бы сказать... Такие задержки для 50К iops уже не устраивают.
Причём на чтение получаю 500К при 300 мкс.

500к iops на 11 узлах тоже очень мало