У Кирилла спроси. По идее, у chvdisk -cache есть ключ -force, но я не уверен, что это оно и в мануале куча варнингов по этому поводу

В системе NVRAM - CPU - диски узким местом всегда будут диски или CPU. Или у тебя не хватает скорости дисков, чтобы записать содержимое кэша, или CPU не справляется с количеством операций.

ЕМНИП на Хабре была история, когда напоролись на этот лимит, но там вроде метрокластер был, в котором этот объем еще "половинится". И было это очень давно

Там скорее скорость репликации NVRAM могла повлиять, что для синхронной репликации на большом расстоянии ожидаемый эффект.

Собственно для того, чтобы влияние узкого места в виде дисков снизить, и увеличивают кэш.
По сути кэш - это буфер, сглаживающий пики.

Кэш добавляют для того чтобы выстроить операции записи оптимальным образом для дисков. Например, вместо мелких рэндомных операций, получить мало поточных.

Медленно данные из кэша могут обрабатываться, если диски не успевают весь кусок из кэша проглотить или если CPU не успевает метаданные обработать

Если диски уже работают на 90% утилизации, кэш запись не ускорит.

Конечно не ускорят. А если работают на 50% то кэш запись ускорит , причём значительно.
Повторюсь, кэш сглаживает влияние пиковой нагрузки.
Отличный пример с канализационными трубами. Они не из-за постоянного высокого трафика такие широкие, а для того, чтобы пики сглаживать.

Есть места где трубы дальше от входа становятся уже?

Конечно нет. Однако делать трубы уже - увеличить вероятность засора.

Аналогия из другого чата: кэш vSan (ssd) часто берут ~10% от ёмкости капасити уровня (hdd), согласно рекомендациям. Но если использовать под кэш диски типа optane ssd (nvme) - их производительности (latency в купе с iops) хватит и при меньшем соотношении размера кэш дисков к размеру капасити. NVRAM даже относительно небольшого объема как кэш на запись позволяет правильным и быстрым образом писать большой объём данных на диски.

Денис, Артур, я не вполне понимаю, вы спорите с тем, что чем больше кэш на запись, тем большие по длине пики может проглотить массив без увеличение Latency?

Это зависит не только от кэша.

да, не только, но и от него тоже. Причём это особенно становится актуально в случае с метрокластером.

ссылочку не найдёшь?

https://m.habr.com/en/company/tinkoff/blog/212453/
Вроде эта

в Nimble все данные попадают сначала в nvram одного контроллера, потом он зеркалирует их в nvram другого контроллера, потом они переписываются из nvram в ram, там с ними происходит дедуп, компрессия, шифрование, вычисление raid и после этого собирание full strip'a и наконец запись на диски. т.е. в nvram никакой обработки не происходит, там просто лежат оригинальные данные на случай потери содержимого ram.

Мне кажется что NVDIMM кэш совсем не ради этой цели добавлен. И сглаживать пики за счёт такого кэша - не самый очевидный вариант по мнению вендора.

Это было 7 лет назад )

Дак я говорил, что древняя история