fio blocksize=4K rw=randread direct=1 buffered=0 ioengine=libaio iodepth=1 timeout=600 io_size=100G numjobs=8

    clat (nsec): min=485, max=9541.4k, avg=80785.06, stdev=59900.79
    clat percentiles (usec):
     |  1.00th=[   24],  5.00th=[   36], 10.00th=[   65], 20.00th=[   71],
     | 30.00th=[   75], 40.00th=[   79], 50.00th=[   82], 60.00th=[   85],
     | 70.00th=[   88], 80.00th=[   92], 90.00th=[   99], 95.00th=[  108],
     | 99.00th=[  130], 99.50th=[  139], 99.90th=[  204], 99.95th=[  453]

Консьюмерский SATA SSD, замечу. Средняя задержка 80.8 мкс. Понятия "максимальной задержки" у устройства нет, есть таймауты на его контроллере. Как и нет понятия "целевой latency СХД/ВМ". Есть требования системы к storage backend, а для СХД - чем меньше, тем лучше, учитывая, что она всегда разнится в зависимости от нагрузки.

    clat (nsec): min=485, max=9541.4k, avg=80785.06, stdev=59900.79
    clat percentiles (usec):
     |  1.00th=[   24],  5.00th=[   36], 10.00th=[   65], 20.00th=[   71],
     | 30.00th=[   75], 40.00th=[   79], 50.00th=[   82], 60.00th=[   85],
     | 70.00th=[   88], 80.00th=[   92], 90.00th=[   99], 95.00th=[  108],
     | 99.00th=[  130], 99.50th=[  139], 99.90th=[  204], 99.95th=[  453]

странно, у твоего кончюмерского ssd задержки меньше, чем у моего Intel DC P3700

Ага. Вот пример SM863/PM863 - 0,33мс на 100% Read Avg, 1.6/2.4мс - 100% Read Max (http://www.thessdreview.com/our-reviews/samsung-sm863-pm863-ssd-review-960gb/2/). NVMe P4510 - 0,4ms AVG, 4 - Max. http://www.thessdreview.com/featured/intel-ssd-dc-p4510-enterprise-nvme-ssd-review-2tb-8tb/2/

Вот пример теста vSAN на обычной 2x10GbE

Это задержка на уровне приложения (vdbench), а не СХД. 204 мкс в себя включает - задержки NVMe SSD, задержки сети, задержки на обработку IO vSAN, задержки ESXi Sсheduler на уровне ВМ, задержки приложения. 400мкс - 95-ый персентиль.

Но это все равно синтетика, если нужна реальная картинка - тесты нужно гонять на живых системах из под нужных приложений

Это 100% Read на пару часов на дефолтной политике хранения.

Те же транзакции SQL, например

разумеется, но вопрос не в этом. Вопрос в том, что получать 200мкс latency в госте на vSAN можно спокойно ходя по сети на соседний хост.

Да, в этом то можно не сомневаться. Для любой задачи есть свой инструмент, вполне возможно что будет такая задача, с которой HCI справиться не на отлично. Но такие задачи, наверное, редкий зверь

разумеется, такие есть. Например, высокочастотный трейдинг. Или системы жесткого реального времени с минимальным временем отклика.

Только там виртуализацию не используют, а значит и HCI не подойдет :)

Интересная заметка о том, как наш внутренний ИТ отрабатывал, а затем начал мигрицию production Scale-up SAP HANA на vSAN. https://blogs.vmware.com/vov/2018/10/18/running-sap-hana-on-vsan/

Ну и ещё статистика за 5 дней с VMworld 2018 US. Подробности по ссылке - https://blogs.vmware.com/vov/2018/10/01/vmworld-2018-us-hands-on-lab-delivering-120000-vms-in-five-days/

Nikolay , @mdasaev, коллеги - доброго времени дня. Практический вопрос у партнера @fmiftahov

есть 4 узла vxrail с 1C4D конфигурацией, планируем расширить эти узлы до 1C5D и добавить еще один узел, но у него будет конфигруация 2С5D, т.к. он в одну группу не позволяет добавить более 4 дисков (VxRAIL E560F) - корректно ли будет работать такой кластер?  А если на временной основе какое-то время будет работать 4 узла 1C4D и 1 узел 2C5D, все ли будет хорошо в таком случае?

Я правильно понимаю, что 1c5d  - это 1 дисковая группа с 5 Capasity SSD, а 2c5d  - две дисковых группы с 5 Capasity SSD в каждой?

не, 1С5D -  это всего 1 кэш и 5 данных.  2C5D - 2 кэша и 5 данных и будет 2 группы, ессно.

т.е. дисковые группы 1+5 в 4-х хостах, а в пятом 1+2 и 1+3?

ну да, получается так..