KS
ну т.е. на гипервизорах настраиваем вирт. коммутатор, vmkernel под vsan, всё как обычно, а потом жамкаем кнопку ВКЛ rdma ?
Size: a a a
2021 June 03
AK
Привет! Step-by-step рекомендации готовим, пока можно в индивидуальном порядке спрашивать меня (больше по адаптерам и коммутаторам) и Алексея (больше по vSAN).
AD
ага
KS
понятно
AK
Коммуты еще надо на Lossless настроить и чтоб по DCBX отдавали нужные данные
KS
есессно
na
а вот у нас не было сети на мелланоксах, средневзвешенный размер блока от 80 до 140 кб. в чем профит?
N
снижение загрузки по CPU; возможно, снижение latency.
na
нуу, про cpu возможно да, при определенных условиях. все равно цифра кажется какой-то небольшой, особенно с учетом фразы " с ростом размера блока разница не такая большая", я не видел SAN где бегают исключительно блоки по 4к и все потребители только читают)
AK
В режиме RDMA чистый сетевой IO почти не потребляет CPU. Плюс из-за обхода медленного стека ядра и отсутствия необходимости копировать данные снижается задержка, повышается пропускная способность.
V
что то пока не прибавилось карт)
na
задержка - это хорошо. но если у меня диски sas/nl_sas, то насколько у меня снизится задержка?
AK
RDMA = Mellanox, у остальных либо нет, либо сильно хуже реализация. Карточки будут добавляться и других серий (не только CX4-Lx)
AK
Я про сетевую задержку написал. Если у вас latency до диска на несколько порядков выше latency по сети, то конечно разницы вы не заметите. Но на NVMe например вполне ощутимая разница между RDMA и скажем TCP/IP.
N
вы пишите все равно в SSD-кэш всегда по сети. А читаете в 90% случаев, как правило, тоже из SSD кэша.
na
вот.. я собственно выше и написал, что для получения реального профита от перехода на roce нужно менять железо) пока не будет end-to-end nvme все выигранные микросекунды в сетевом стеке просто не будут видны...
AK
Вот Николай выше уточнил насчёт кэшей на флеше
V
Ну новую карту счас без rdma, сейчас сложнее найти чем с rdma. Реализацию мне сложно оценить. Видел только мелланокс Вс броадком, да и то пару лет назад.