Вот как раз на бриджах ARP дальше хоста не шли, пришлось на OVS мигрировать

у меня есть сомнения, что можно так просто взять и подцепить бриджи к влан интерфейсам на паре свитчей, на нескольких хостах без петель, а в LB - STP, оно там будет перестраиваться по 30 секунд при запуске каждой виртуалки лол

вот что странно, на бриджах у меня ARP четко работает, может просто ПОКА ничего не отвалилось

в моих предыдущих эксперементах с OVS у меня как-то совершенно случайно арп ответы стали доходить, но НЕДОЛГО

5.2 ... 6.2 - с linux-bridge вообще не уходит трафик наглухо, из-за этого виртуальный роутер оказался прибит к одной ноде, что очень хреново. Переделал на OVS - потерял возможность в один клик вешать часто используемые вланы, зато теперь тегированый трафик идёт между хостами PVE и даже в кластер vmware. Сборка, конечно, не стоковая, но правки чисто косметические, во фронтенд.

Linux prod-2 5.4.41-1-pve #1 SMP PVE 5.4.41-1 (Fri, 15 May 2020 20:26:01 +0300) x86_64
Last login: Wed Jun 10 14:24:40 2020 from [ДАННЫЕ УДАЛЕНЫ]
[prod-2 ~]# pveversion -v
proxmox-ve: 6.2-1 (running kernel: 5.4.41-1-pve)
pve-manager: 6.2-4 (running version: 6.2-4)
pve-kernel-5.4: 6.2-2
pve-kernel-helper: 6.2-2
pve-kernel-5.3: 6.1-6
pve-kernel-5.4.41-1-pve: 5.4.41-1
pve-kernel-5.3.18-3-pve: 5.3.18-3
pve-kernel-5.3.18-2-pve: 5.3.18-2
ceph-fuse: 12.2.12-pve1
corosync: 3.0.3-pve1
criu: 3.11-3
gfs2-utils: 3.2.0-1
glusterfs-client: 7.4-1
ifupdown: residual config
ifupdown2: 2.0.1-1+pve8
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.15-pve1
libproxmox-acme-perl: 1.0.4
libpve-access-control: 6.1-1
libpve-apiclient-perl: 3.0-3
libpve-common-perl: 6.1-2
libpve-guest-common-perl: 3.0-10
libpve-http-server-perl: 3.0-5
libpve-storage-perl: 6.1-8
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.2-1
lxcfs: 4.0.3-pve2
novnc-pve: 1.1.0-1
openvswitch-switch: 2.12.0-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.2-1
pve-cluster: 6.1-8
pve-container: 3.1-6
pve-docs: 6.2-4
pve-edk2-firmware: 2.202002-1
pve-firewall: 4.1-2
pve-firmware: 3.1-1
pve-ha-manager: 3.0-9
pve-i18n: 2.1-2
pve-qemu-kvm: 5.0.0-2
pve-xtermjs: 4.3.0-1
qemu-server: 6.2-2
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.4-pve1

в смысле fair queue не робит у человека. с дефолтным pfifo_fast похоже работает

Linux prod-2 5.4.41-1-pve #1 SMP PVE 5.4.41-1 (Fri, 15 May 2020 20:26:01 +0300) x86_64
Last login: Wed Jun 10 14:24:40 2020 from [ДАННЫЕ УДАЛЕНЫ]
[prod-2 ~]# pveversion -v
proxmox-ve: 6.2-1 (running kernel: 5.4.41-1-pve)
pve-manager: 6.2-4 (running version: 6.2-4)
pve-kernel-5.4: 6.2-2
pve-kernel-helper: 6.2-2
pve-kernel-5.3: 6.1-6
pve-kernel-5.4.41-1-pve: 5.4.41-1
pve-kernel-5.3.18-3-pve: 5.3.18-3
pve-kernel-5.3.18-2-pve: 5.3.18-2
ceph-fuse: 12.2.12-pve1
corosync: 3.0.3-pve1
criu: 3.11-3
gfs2-utils: 3.2.0-1
glusterfs-client: 7.4-1
ifupdown: residual config
ifupdown2: 2.0.1-1+pve8
ksm-control-daemon: 1.3-1
libjs-extjs: 6.0.1-10
libknet1: 1.15-pve1
libproxmox-acme-perl: 1.0.4
libpve-access-control: 6.1-1
libpve-apiclient-perl: 3.0-3
libpve-common-perl: 6.1-2
libpve-guest-common-perl: 3.0-10
libpve-http-server-perl: 3.0-5
libpve-storage-perl: 6.1-8
libqb0: 1.0.5-1
libspice-server1: 0.14.2-4~pve6+1
lvm2: 2.03.02-pve4
lxc-pve: 4.0.2-1
lxcfs: 4.0.3-pve2
novnc-pve: 1.1.0-1
openvswitch-switch: 2.12.0-1
proxmox-mini-journalreader: 1.1-1
proxmox-widget-toolkit: 2.2-1
pve-cluster: 6.1-8
pve-container: 3.1-6
pve-docs: 6.2-4
pve-edk2-firmware: 2.202002-1
pve-firewall: 4.1-2
pve-firmware: 3.1-1
pve-ha-manager: 3.0-9
pve-i18n: 2.1-2
pve-qemu-kvm: 5.0.0-2
pve-xtermjs: 4.3.0-1
qemu-server: 6.2-2
smartmontools: 7.1-pve2
spiceterm: 3.1-1
vncterm: 1.6-1
zfsutils-linux: 0.8.4-pve1

очень интересно... у меня тоже 5.4.41 и OVS глючит. любой от 2.7 до 2.13.90

сетевухи какие ?

тюнинг sysctl по части очередей, размера буферов и тому подобного присутствует ? настроки CPU affinity сетевых драйверов имеются ?

А что так можно было чтоли?) прокс же по дефолту тащщит своё ядро по зависимостям

тащит, ставит, но загрузиться можешь в любое

Brocade BR-1020, HPE 530FLR-SFP+

Мама дорогая

ну так они перестали малтикаст вроде использовать

Те забить на то что пве кернел в бут валяется и загрузку поправить? Функционал не отвалится? Зфс это понятно)

QLogic converged ethernet сетевухи получается ? У меня интел и мелланокс

возможно, что что-то где-то будет работать не так. а может быть наоборот так )

Начинаю думать, что стоит посмотреть в сторону sanlock гораздо пристальнее, его авторы заявляют, что синхра кластера через сеть - ацтой, будущее за файл-локами )))

спасибо!

Пасибо, таки попробую стоковое, как-то больше ему доверяю