Size: a a a

KVM (PVE/oVirt etc)

2021 June 24

VM

Vladimir Manko in KVM (PVE/oVirt etc)
умеет, включено, но на прямую прокидывать в виртуалку сетевую я не буду, у меня гиперконвергент полный - 1 нода это и хост и сторадж и нетворк на все
источник

w

werter78 in KVM (PVE/oVirt etc)
и не надо ПОЛНОСТЬЮ прокидывать
источник

w

werter78 in KVM (PVE/oVirt etc)
пользуйте SR-IOV
источник

w

werter78 in KVM (PVE/oVirt etc)
после вкл. появляется возможность выбрать необходимое кол-во сетевых для ВМ прямо в вебке Прокса
источник

w

werter78 in KVM (PVE/oVirt etc)
может прийдется только руками драйвер собирать под Прокс, если он свежее
источник

w

werter78 in KVM (PVE/oVirt etc)
что-то типа

Install dependencies software
#dependencies
apt-get -y install debhelper autotools-dev dkms zlib1g-dev python
wget quilt python-libxml2 swig dpatch graphviz chrpath pve-headers
Download driver for mellanox connectx 3 for debian 9.6
wget http://content.mellanox.com/ofed/MLNX_EN-4.6-1.0.1.1/mlnx-en-4.6-1.0.1.1-debian9.6-x86_64.tgz
Install drivers
tar -zxvf mlnx-en-4.6-1.0.1.1-debian9.6-x86_64.tgz
cd mlnx-en-4.6-1.0.1.1-debian9.6-x86_64
chmod +x install
./install --skip-distro-check

http://www.mellanox.com/page/products_dyn?product_family=27
https://forums.servethehome.com/index.php?resources/install-mellanox-driver-proxmox-ve-5-1.35/
источник

w

werter78 in KVM (PVE/oVirt etc)
или

https://cdnhost.net/content/?p=4849

Using Mellanox Infiniband 40gb adapters with Proxmox v5.x

dependencies
apt-get -y install debhelper autotools-dev dkms zlib1g-dev python wget quilt python-libxml2 swig dpatch graphviz chrpath

download and install
wget http://www.mellanox.com/downloads/ofed/MLNX_EN-4.2-1.0.1.0/mlnx-en-4.2-1.0.1.0-debian9.0-x86_64.tgz
tar xzvf mlnx-en-4.2-1.0.1.0-debian9.0-x86_64.tgz
cd mlnx-en-4.2-1.0.1.0-debian9.0-x86_64
./install –skip-distro-check

then run this:

wget http://download.proxmox.com/debian/pve/dists/stretch/pvetest/binary-amd64/pve-headers-4.13.4-1-pve_4.13.4-25_amd64.deb
dpkg -i pve-headers-4.13.4-1-pve_4.13.4-25_amd64.deb

and reboot!

THEN… do this:

From the software side

sudo apt-get install opensm infiniband-diags librdmacm-dev libibverbs-dev libmlx4-dev
Then add these to /etc/modules via nano /etc/modules and pasting these lines in.

mlx4_ib
ip_ipoib
rdma_ucm

Then reboot.
источник

w

werter78 in KVM (PVE/oVirt etc)
источник

w

werter78 in KVM (PVE/oVirt etc)
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Тут не все так просто, в схеме 2 свича с MLAG  и по два qsfp интерфейса в LACP bond  на хостах. Как я понял из доки меллов, схема sriov будет работать если я на хосте отдам обе сетки в виртуалку и уже внутри виртуалки буду делать бонд лацп. В схеме с бонд+лацп+бридж с вланами, гораздо проще виртуалке отдать бридж чепрез virtio и не парится, тем более 40 гигабит я могу получить (мне для виртуалок столько не надо, а вот 10-ка в самый раз) на vyos/debian/ipfire. В принципе меня и оттюненый pfsense устроит т.к. 8-ку выдает. А остальное - ну пусть разрабы трудятся над повышение производительности того же CHR, они ж его позиционируют как софтроутер (причем не дорогой), чего же они не оттюнили его из коробки под kvm?
источник

w

werter78 in KVM (PVE/oVirt etc)
может мы по разному понимаем sr-iov ?
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
А вот эта вот вся канитель с драйверами и зависимостями нафиг не нужна, линух отлично кушает сетевые и с хоста на хост я отлично получаю свои 40 гигабит через драйвер в ядре. Тут проблема с виртуальным интерфейсом и реализацией в софтроутерах.
источник

w

werter78 in KVM (PVE/oVirt etc)
его фишка в ВИРТУАЛИЗАЦИИ сетевых в данном случае
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
я понимаю как в доке указано, в том числе и меланоксовой =)
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
источник

w

werter78 in KVM (PVE/oVirt etc)
если вкл SR-IOV в биос и задействовать его на Проксе, то в настройках ВМ появляется возможность пользовать НАТИВНО сетевую карту БЕЗ паравиртуализации в виде virtio
источник

w

werter78 in KVM (PVE/oVirt etc)
это так?
источник

w

werter78 in KVM (PVE/oVirt etc)
Покажите пункт  с ВМки - Hardware - > Add PCI Device с Прокса, если возможно
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Почти, появится не сама железка а виртуальная функция дающая доступ к сетевой напрямую.  Но называться она будет как-то так MLX Connect 3x Pro VF. Вы решили меня проверить на уровень знаний и компетенции?
источник

w

werter78 in KVM (PVE/oVirt etc)
я бы это ПРЯМО написал, поверьте,
скромности мне не занимать )
источник