Думаю проблема в свиче кластера

да я понимаю, что 10G не реалтек, просто написал про похожесть.
не всё оборудование в линуксах идеально работает.

@xolseg Перевёл на другую ноду, но результаты почти идентичные

root@nfs-server:~# iperf3 -c 172.21.21.101
Connecting to host 172.21.21.101, port 5201
[  5] local 172.21.21.100 port 37618 connected to 172.21.21.101 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  1.05 GBytes  9.06 Gbits/sec  2319   1.69 MBytes      
[  5]   1.00-2.00   sec  1.08 GBytes  9.26 Gbits/sec  1200   1.86 MBytes      
[  5]   2.00-3.00   sec  1.07 GBytes  9.21 Gbits/sec  236   2.17 MBytes      
[  5]   3.00-4.00   sec  1.06 GBytes  9.10 Gbits/sec  1449   2.35 MBytes      
[  5]   4.00-5.00   sec  1.02 GBytes  8.74 Gbits/sec  613   2.55 MBytes      
[  5]   5.00-6.00   sec  1.06 GBytes  9.09 Gbits/sec  1143   2.75 MBytes      
[  5]   6.00-7.00   sec  1.03 GBytes  8.88 Gbits/sec  545   2.96 MBytes      
[  5]   7.00-8.00   sec  1.02 GBytes  8.78 Gbits/sec  1727   3.01 MBytes      
[  5]   8.00-9.00   sec  1.06 GBytes  9.10 Gbits/sec  2864   3.01 MBytes      
[  5]   9.00-10.00  sec  1.05 GBytes  8.99 Gbits/sec  4418   3.01 MBytes      
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  10.5 GBytes  9.02 Gbits/sec  16514             sender
[  5]   0.00-10.04  sec  10.5 GBytes  8.98 Gbits/sec                  receiver

iperf Done.
root@nfs-server:~# wget 172.21.21.101/bull.shit
--2019-08-20 14:50:11--  http://172.21.21.101/bull.shit
Подключение к 172.21.21.101:80... соединение установлено.
HTTP-запрос отправлен. Ожидание ответа… 200 OK
Длина: (1,3G) [application/octet-stream]
Сохранение в: «bull.shit.1»

bull.shit.1         100%[=================>]   1,26G   151MB/s    за 8,8s    

2019-08-20 14:50:20 (146 MB/s) - «bull.shit.1» сохранён /1352648192]

А вот маршрут iSCSI  <=> свич <=> Node1 <=> VM1 <=> Node1 <=> свич <=> Node2 <=> VM2 с помощью rsync уже сильно хуже - 400 мегабит где-то, но тут я специально отрубил кеши дисковой подсистемы и не вырубал шифрование rsync, чтобы максимально убить производительность

Гори оно всё пропадом

ну а если этот же файл скачать с самого прокса? норм?

На 10MB/s меньше

PV с подмонтированной NFS-шарой всё-таки получше справляется, но тоже недалеко ушёл

Слишком много слоёв абстракции - iSCSI-лун подмонтирован к виртуалке, которая держит NFS-сервер

Так, если с VM на VM делать wget, то скорость та же самая - ~50MB/s. С wget -O/dev/null получаю 200MB/s и чирикающий о Overloaded I/O Zabbix. Весело.

За 157к в месяц до нологов в японию. Вообще шальные чтоли )

Контекст? Оффер какой-то?

уже по тёрли.

ТОлько что сюда спамили.

Возвращаясь к вопросу, в случае с хорошей виртуалкой ещё заметил такую запись в dmesg:

virtio-pci 0000:00:04.0: enabling device (0000 -> 0003)

т.е. что-то явно её енаблит (сетевуху в смысле)

Блин, короче я тупанул что-то, проблема была в том что в одном случае добавлялись virtio-сетевухи, в другом добавлялись e1000,
И как ожидалось hotplug работает только с virtio

таки да

😏