верно, но при этом я использую старый scsi стэк для ввода вывода, суммарные задержки в котором на порядок выше + ограничение по глубине очереди и т. д..

У меня взгляд замутнённый, т.к. у нас карт без RDMA не бывает.

разве что nvme в качестве кэша на all-flash нодах..

Мы тут играем в капитана очевидность - если у вас 7200 диски и маленький кэш, что приводит к частным промахам, то bottleneck у вас там и RDMA никак вам не поможет. Если у вас все операции 256K+, то RDMA вам мало снизит нагрузку на CPU (она и так очень маленькая). Если у вас быстрая all flash система, например, с оптанами под кэш + очень интенсивный IO на них, то RDMA сделает вам лучше. Стоит оно того и нет зависит от миллиона факторов начиная от того, что у вас сейчас есть, когда вы это купили, планировали ли обновлять, во сколько вам это обойдется, и так далее

Хмм. Не знаю как у вас, но в целом я вижу ситуацию следующим образом:
* Строить сеть на 10G мягко говоря несовременно. Разница в цене компонент между 10G и 25G - 10-15%, разница в пропускной способности 2.5 раза против 25G. Мы в своё время меряли 10G vs 25G на vSAN и разница в производительности была, т.е. ставя 10G адаптер мы за счёт копеечного компонентна портим производительность недешевой системы: камень, диски, SSD/NVME, софт и т.п.
* Если говорить про 25G и выше, то здесь большинство адаптеров умные, в том числе и Mellanox. RDMA не требует отдельной аппаратной ревизии NIC-а или каких-то лицензий. Аналогично на стороне vSAN.
* Коммутаторы как Николай сказал все или почти все умеют Lossless. Кто-то лучше, кто-то хуже, но тем не менее почти все.
* На своей нагрузке вы можете получить выхлоп от RoCE или не получить. Проверка одной галочкой делается. Разница по цене, если учесть реалии строительства сети в 2021 году, равна нулю или почти нулю. В относительном выражении по сравнению с общей стоимостью системы это в любом случае "семечки".

в случае "Если у вас быстрая all flash система, например, с оптанами под кэш" - вероятнее всего что система построена сравнительно недавно и ради 5-10% реального профита по iops и непонятного по latency вряд ли кто-то станет активировать rdma. я кстати верно понимаю что реконфигурация на существующей системе все же потребуется?

я бы добавил что 25G коммутаторы, по факту, оказываются дешевле 10G. Особенно если посмотреть на цены Mellanox'а

Так я-то тоже согласен. Делать с нуля имеет смысл на 25GbE, что практически автоматом означает поддержку RDMA. Тут вопрос в том, что у коллег могут быть 10GbE свитчи + карточки от Intel (где RoCEv2 вроде только не давно появились и не везде) и они хотят сказать, что выкидывать это все и менять всю сеть только ради RDMA для vSAN может быть экономически не оправдано. И в этом тоже есть здравый смысл

что вы имеете в виду под «реконфигурацией»?

у меня есть vmk интерфейсы через которые идет обмен данными внутри vSAN. если я правильно понимаю мне понадобится создать новые vmk на базе виртуальных rdma адаптеров (которые появятся после активации rdma на физ. карте например. ну или они уже есть в системе, но не использовались) и перенести трафик на новые vmk?

насколько я понимаю, создавать отдельные vmk не нужно. Но давайте опять у @Darchenkov спросим

давайте, это кстати не праздный интерес..

ну и во вторых, мне не очень понятно, почему «не будут активировать»? Я пока не вижу особых причин не активировать RDMA, если есть возможность, кроме как у вас Stretched Cluster или зачем-то обязательно нужен LACP

Если при этом нужно будет реконфигурировать каждую ноду с возможными простоями? Даже если без простоев, я бы как миниму задумался - зачем..

Честно говоря, я пока не вижу никаких проблем с тем, чтобы включить RDMA. 1.) Настраиваем коммутатор (у Mellanox реально очень просто, про других не скажу) 2.) Проверям/прошиваем драйвера/firmware на картах, но это так и так делать нужно переодически 3.) включаем RDMA на vSAN одной галочкой

создавать новый vmk не нужно, нужно просто включить пожжержку RDMA на уровне кластера.

и да, если сеть таки настрооена неправильно и RDMA не взлетит, простоя не будет

просто все продолжит работать по TCP и вывалится аларм

25G is new 10G. 😁 Видел недавно такой слоган у кого-то...

Вот тут мне кажется могут быть нюансы которые в тестовой среде просто не проверить