РД
Cluster->Monitor->vSAN->Support->Performance for Support->Network->TCP/IP
Size: a a a
2020 April 19
РД
Cluster->Monitor->vSAN->Support->Performance for Support->Network->TCP/IP
РД
Какая модель коммутаторов, как организовано подключение?
Два Mellanox SN2010 25gb/s
vmnik0 active, vmnik1 standby.
jumbo frame, кроме vsan на этих свитчах ничего нет. vlan-ов нет, все порты access
Все 6 хостов полностью идентичны
vmnik0 active, vmnik1 standby.
jumbo frame, кроме vsan на этих свитчах ничего нет. vlan-ов нет, все порты access
Все 6 хостов полностью идентичны
KS
А что за трафик на vmnic0 ?
РД
А что за трафик на vmnic0 ?
vsan, поправил выше сообщение
EZ
покажите latency между хостами из skyline
KS
А встроенный тест прогоняли?
KS
KS
Вот тут что у вас по сетке?
РД
покажите latency между хостами из skyline
РД
Kirhy Stoff
Вот тут что у вас по сетке?
EZ
так, окей
EZ
всан обзервер запускали?
EZ
На какой именно версии убунты проблемы с лейтенси, кстати?
РД
всан обзервер запускали?
да, там не увидел ничего что привлекло бы мое внимание если речь про gavg kavg и тп
На бэкэнде он показывает все отлично, только общая VM w latency хоста на котором работает проблемная виртуалка повышена
На бэкэнде он показывает все отлично, только общая VM w latency хоста на котором работает проблемная виртуалка повышена
EZ
Сделать eager zeroed не понял как, оставил thin.
ubuntu, свежая установка, 2 диска каждый через свой scsi LSO Logic Parallel
Mirror (FTT=0)
При Raid6 и FTT=2 когда диск размазан на все 6 хостов latency вырос на 10%
Вот что получилось
4K
19 requests completed in 18.3 s, 1.43 k iops, 5.58 MiB/s
min/avg/max/mdev = 431 us / 699 us / 1.01 ms / 139 us
8K
16 requests completed in 15.1 s, 1.33 k iops, 10.4 MiB/s
min/avg/max/mdev = 490 us / 751 us / 991 us / 140 us
16K
27 requests completed in 26.3 s, 1.38 k iops, 21.6 MiB/s
min/avg/max/mdev = 544 us / 724 us / 991 us / 111 us
64K
23 requests completed in 22.1 s, 1.33 k iops, 83.5 MiB/s
min/avg/max/mdev = 553 us / 748 us / 988 us / 90 us
128K
21 requests completed in 20.4 s, 1.33 k iops, 166.1 MiB/s
min/avg/max/mdev = 632 us / 752 us / 1.08 ms / 100 us
256K
19 requests completed in 18.3 s, 1.07 k iops, 267.9 MiB/s
min/avg/max/mdev = 791 us / 933 us / 1.14 ms / 83 us
512K
23 requests completed in 22.6 s, 906 iops, 453.3 MiB/s
min/avg/max/mdev = 860 us / 1.10 ms / 1.57 ms / 173 us
1M
21 requests completed in 20.1 s, 702 iops, 702.3 MiB/s
min/avg/max/mdev = 1.23 ms / 1.42 ms / 1.62 ms / 91 us
WWW 4K
32 requests completed in 31.3 s, 1.18 k iops, 4.60 MiB/s
min/avg/max/mdev = 544 us / 848 us / 1.67 ms / 212 us
WWW 8K
34 requests completed in 33.8 s, 1.10 k iops, 8.60 MiB/s
min/avg/max/mdev = 565 us / 907 us / 1.40 ms / 175 us
WWW 16K
29 requests completed in 28.3 s, 1.29 k iops, 20.1 MiB/s
min/avg/max/mdev = 527 us / 777 us / 1.03 ms / 140 us
WWW 32K
32 requests completed in 31.8 s, 1.04 k iops, 32.6 MiB/s
min/avg/max/mdev = 692 us / 959 us / 1.20 ms / 127 us
WWW 64K
27 requests completed in 26.2 s, 1.04 k iops, 65.1 MiB/s
min/avg/max/mdev = 536 us / 959 us / 1.39 ms / 195 us
WWW 128K
29 requests completed in 28.4 s, 894 iops, 111.9 MiB/s
min/avg/max/mdev = 791 us / 1.12 ms / 1.29 ms / 116 us
WWW 256K
24 requests completed in 23.5 s, 887 iops, 221.8 MiB/s
min/avg/max/mdev = 882 us / 1.13 ms / 1.36 ms / 126 us
WWW 512K
22 requests completed in 21.2 s, 661 iops, 330.8 MiB/s
min/avg/max/mdev = 1.25 ms / 1.51 ms / 1.87 ms / 156 us
WWW 1M
20 requests completed in 19.2 s, 509 iops, 509.9 MiB/s
min/avg/max/mdev = 1.48 ms / 1.96 ms / 2.40 ms / 247 us
ubuntu, свежая установка, 2 диска каждый через свой scsi LSO Logic Parallel
Mirror (FTT=0)
При Raid6 и FTT=2 когда диск размазан на все 6 хостов latency вырос на 10%
Вот что получилось
4K
19 requests completed in 18.3 s, 1.43 k iops, 5.58 MiB/s
min/avg/max/mdev = 431 us / 699 us / 1.01 ms / 139 us
8K
16 requests completed in 15.1 s, 1.33 k iops, 10.4 MiB/s
min/avg/max/mdev = 490 us / 751 us / 991 us / 140 us
16K
27 requests completed in 26.3 s, 1.38 k iops, 21.6 MiB/s
min/avg/max/mdev = 544 us / 724 us / 991 us / 111 us
64K
23 requests completed in 22.1 s, 1.33 k iops, 83.5 MiB/s
min/avg/max/mdev = 553 us / 748 us / 988 us / 90 us
128K
21 requests completed in 20.4 s, 1.33 k iops, 166.1 MiB/s
min/avg/max/mdev = 632 us / 752 us / 1.08 ms / 100 us
256K
19 requests completed in 18.3 s, 1.07 k iops, 267.9 MiB/s
min/avg/max/mdev = 791 us / 933 us / 1.14 ms / 83 us
512K
23 requests completed in 22.6 s, 906 iops, 453.3 MiB/s
min/avg/max/mdev = 860 us / 1.10 ms / 1.57 ms / 173 us
1M
21 requests completed in 20.1 s, 702 iops, 702.3 MiB/s
min/avg/max/mdev = 1.23 ms / 1.42 ms / 1.62 ms / 91 us
WWW 4K
32 requests completed in 31.3 s, 1.18 k iops, 4.60 MiB/s
min/avg/max/mdev = 544 us / 848 us / 1.67 ms / 212 us
WWW 8K
34 requests completed in 33.8 s, 1.10 k iops, 8.60 MiB/s
min/avg/max/mdev = 565 us / 907 us / 1.40 ms / 175 us
WWW 16K
29 requests completed in 28.3 s, 1.29 k iops, 20.1 MiB/s
min/avg/max/mdev = 527 us / 777 us / 1.03 ms / 140 us
WWW 32K
32 requests completed in 31.8 s, 1.04 k iops, 32.6 MiB/s
min/avg/max/mdev = 692 us / 959 us / 1.20 ms / 127 us
WWW 64K
27 requests completed in 26.2 s, 1.04 k iops, 65.1 MiB/s
min/avg/max/mdev = 536 us / 959 us / 1.39 ms / 195 us
WWW 128K
29 requests completed in 28.4 s, 894 iops, 111.9 MiB/s
min/avg/max/mdev = 791 us / 1.12 ms / 1.29 ms / 116 us
WWW 256K
24 requests completed in 23.5 s, 887 iops, 221.8 MiB/s
min/avg/max/mdev = 882 us / 1.13 ms / 1.36 ms / 126 us
WWW 512K
22 requests completed in 21.2 s, 661 iops, 330.8 MiB/s
min/avg/max/mdev = 1.25 ms / 1.51 ms / 1.87 ms / 156 us
WWW 1M
20 requests completed in 19.2 s, 509 iops, 509.9 MiB/s
min/avg/max/mdev = 1.48 ms / 1.96 ms / 2.40 ms / 247 us
Вы выше писали что используете paravirtual
РД
Вы выше писали что используете paravirtual
да одна из проблемных VM на paravirtual Оставил scsi по умолчанию, сейчас проверю на paravirtual этот тест с ioping
РД
Вы выше писали что используете paravirtual
разницы нет
EZ
покажите /etc/fstab на проблемной виртуалке
EZ
и для проверки, можете развернуть photon os и проделать на ней те же тесты?