и попытался понять для чего? нужна гарантированная задержка и гарантированная пропускная ? делайте qos на сети. ибо любая сеть может быть забита данными. и то что она отдельная не отменят того что там могут разные потребители на которых повлиять тяжело.
https://youtu.be/jaqsqka1ywk?t=196 Артемий Капитула, который отвечает за цеф в Mail.ru Cloud, рассказывал про особенности работых сетевых отказоустойчивых стореджей Емнип, про сеть там тоже было
Тут упоминали про jumbo frame для ceph. Они на порту включаются и сделать на одних и тех же портах одну сетку с ними, а другую без них не получится. Обычным сетям, которые не используются для стореджей jumbo frame не нужны и даже иногда вредны.
а в некоторых случаях у нас были регрессии, что мы получали 80кБ/c на 10 гигабитном линке. оффлоады нельзя использовать, когда ноды являются софтовыми роутерами