РД
Nikolay Kulikov
20-50мс на блоке 500к?
Size: a a a
2020 April 19
РД
Nikolay Kulikov
20-50мс на блоке 500к?
РД
Nikolay Kulikov
20-50мс на блоке 500к?
РД
Чё-то для оптана как-то стрёмно, а iostat вообще пугает.
@Dunyashov, поставьте ioping, подключите отдельный scsi контроллер, к нему небольшой disk (eager zeroed), выставьте в госте scheduler в noop и погоняйте разным размером блока BS (4K, 8K, etc):
Вторая команда на запись, осторожно!
При значениях выше 1ms проблемы явно не в гостевых ОС.
Если, конечно, у вас действительно нет синхронной записи большими кусками, например, блобы в БД коммитятся.
@Dunyashov, поставьте ioping, подключите отдельный scsi контроллер, к нему небольшой disk (eager zeroed), выставьте в госте scheduler в noop и погоняйте разным размером блока BS (4K, 8K, etc):
ioping -D -s $BS /dev/sdx
ioping -WWW -D -s $BS /dev/sdx
Вторая команда на запись, осторожно!
При значениях выше 1ms проблемы явно не в гостевых ОС.
Если, конечно, у вас действительно нет синхронной записи большими кусками, например, блобы в БД коммитятся.
Сделать eager zeroed не понял как, оставил thin.
ubuntu, свежая установка, 2 диска каждый через свой scsi LSO Logic Parallel
Mirror (FTT=0)
При Raid6 и FTT=2 когда диск размазан на все 6 хостов latency вырос на 10%
Вот что получилось
4K
19 requests completed in 18.3 s, 1.43 k iops, 5.58 MiB/s
min/avg/max/mdev = 431 us / 699 us / 1.01 ms / 139 us
8K
16 requests completed in 15.1 s, 1.33 k iops, 10.4 MiB/s
min/avg/max/mdev = 490 us / 751 us / 991 us / 140 us
16K
27 requests completed in 26.3 s, 1.38 k iops, 21.6 MiB/s
min/avg/max/mdev = 544 us / 724 us / 991 us / 111 us
64K
23 requests completed in 22.1 s, 1.33 k iops, 83.5 MiB/s
min/avg/max/mdev = 553 us / 748 us / 988 us / 90 us
128K
21 requests completed in 20.4 s, 1.33 k iops, 166.1 MiB/s
min/avg/max/mdev = 632 us / 752 us / 1.08 ms / 100 us
256K
19 requests completed in 18.3 s, 1.07 k iops, 267.9 MiB/s
min/avg/max/mdev = 791 us / 933 us / 1.14 ms / 83 us
512K
23 requests completed in 22.6 s, 906 iops, 453.3 MiB/s
min/avg/max/mdev = 860 us / 1.10 ms / 1.57 ms / 173 us
1M
21 requests completed in 20.1 s, 702 iops, 702.3 MiB/s
min/avg/max/mdev = 1.23 ms / 1.42 ms / 1.62 ms / 91 us
WWW 4K
32 requests completed in 31.3 s, 1.18 k iops, 4.60 MiB/s
min/avg/max/mdev = 544 us / 848 us / 1.67 ms / 212 us
WWW 8K
34 requests completed in 33.8 s, 1.10 k iops, 8.60 MiB/s
min/avg/max/mdev = 565 us / 907 us / 1.40 ms / 175 us
WWW 16K
29 requests completed in 28.3 s, 1.29 k iops, 20.1 MiB/s
min/avg/max/mdev = 527 us / 777 us / 1.03 ms / 140 us
WWW 32K
32 requests completed in 31.8 s, 1.04 k iops, 32.6 MiB/s
min/avg/max/mdev = 692 us / 959 us / 1.20 ms / 127 us
WWW 64K
27 requests completed in 26.2 s, 1.04 k iops, 65.1 MiB/s
min/avg/max/mdev = 536 us / 959 us / 1.39 ms / 195 us
WWW 128K
29 requests completed in 28.4 s, 894 iops, 111.9 MiB/s
min/avg/max/mdev = 791 us / 1.12 ms / 1.29 ms / 116 us
WWW 256K
24 requests completed in 23.5 s, 887 iops, 221.8 MiB/s
min/avg/max/mdev = 882 us / 1.13 ms / 1.36 ms / 126 us
WWW 512K
22 requests completed in 21.2 s, 661 iops, 330.8 MiB/s
min/avg/max/mdev = 1.25 ms / 1.51 ms / 1.87 ms / 156 us
WWW 1M
20 requests completed in 19.2 s, 509 iops, 509.9 MiB/s
min/avg/max/mdev = 1.48 ms / 1.96 ms / 2.40 ms / 247 us
ubuntu, свежая установка, 2 диска каждый через свой scsi LSO Logic Parallel
Mirror (FTT=0)
При Raid6 и FTT=2 когда диск размазан на все 6 хостов latency вырос на 10%
Вот что получилось
4K
19 requests completed in 18.3 s, 1.43 k iops, 5.58 MiB/s
min/avg/max/mdev = 431 us / 699 us / 1.01 ms / 139 us
8K
16 requests completed in 15.1 s, 1.33 k iops, 10.4 MiB/s
min/avg/max/mdev = 490 us / 751 us / 991 us / 140 us
16K
27 requests completed in 26.3 s, 1.38 k iops, 21.6 MiB/s
min/avg/max/mdev = 544 us / 724 us / 991 us / 111 us
64K
23 requests completed in 22.1 s, 1.33 k iops, 83.5 MiB/s
min/avg/max/mdev = 553 us / 748 us / 988 us / 90 us
128K
21 requests completed in 20.4 s, 1.33 k iops, 166.1 MiB/s
min/avg/max/mdev = 632 us / 752 us / 1.08 ms / 100 us
256K
19 requests completed in 18.3 s, 1.07 k iops, 267.9 MiB/s
min/avg/max/mdev = 791 us / 933 us / 1.14 ms / 83 us
512K
23 requests completed in 22.6 s, 906 iops, 453.3 MiB/s
min/avg/max/mdev = 860 us / 1.10 ms / 1.57 ms / 173 us
1M
21 requests completed in 20.1 s, 702 iops, 702.3 MiB/s
min/avg/max/mdev = 1.23 ms / 1.42 ms / 1.62 ms / 91 us
WWW 4K
32 requests completed in 31.3 s, 1.18 k iops, 4.60 MiB/s
min/avg/max/mdev = 544 us / 848 us / 1.67 ms / 212 us
WWW 8K
34 requests completed in 33.8 s, 1.10 k iops, 8.60 MiB/s
min/avg/max/mdev = 565 us / 907 us / 1.40 ms / 175 us
WWW 16K
29 requests completed in 28.3 s, 1.29 k iops, 20.1 MiB/s
min/avg/max/mdev = 527 us / 777 us / 1.03 ms / 140 us
WWW 32K
32 requests completed in 31.8 s, 1.04 k iops, 32.6 MiB/s
min/avg/max/mdev = 692 us / 959 us / 1.20 ms / 127 us
WWW 64K
27 requests completed in 26.2 s, 1.04 k iops, 65.1 MiB/s
min/avg/max/mdev = 536 us / 959 us / 1.39 ms / 195 us
WWW 128K
29 requests completed in 28.4 s, 894 iops, 111.9 MiB/s
min/avg/max/mdev = 791 us / 1.12 ms / 1.29 ms / 116 us
WWW 256K
24 requests completed in 23.5 s, 887 iops, 221.8 MiB/s
min/avg/max/mdev = 882 us / 1.13 ms / 1.36 ms / 126 us
WWW 512K
22 requests completed in 21.2 s, 661 iops, 330.8 MiB/s
min/avg/max/mdev = 1.25 ms / 1.51 ms / 1.87 ms / 156 us
WWW 1M
20 requests completed in 19.2 s, 509 iops, 509.9 MiB/s
min/avg/max/mdev = 1.48 ms / 1.96 ms / 2.40 ms / 247 us
РД
@Dunyashov в skyline health все зеленое?
Все зеленое кроме:
vSAN support insight (отключен)
vSAN Build Recommendation Engine Health (отключен)
vSAN support insight (отключен)
vSAN Build Recommendation Engine Health (отключен)
РД
Извините за горы текста 🤷♂️
T
Сделать eager zeroed не понял как, оставил thin.
ubuntu, свежая установка, 2 диска каждый через свой scsi LSO Logic Parallel
Mirror (FTT=0)
При Raid6 и FTT=2 когда диск размазан на все 6 хостов latency вырос на 10%
Вот что получилось
4K
19 requests completed in 18.3 s, 1.43 k iops, 5.58 MiB/s
min/avg/max/mdev = 431 us / 699 us / 1.01 ms / 139 us
8K
16 requests completed in 15.1 s, 1.33 k iops, 10.4 MiB/s
min/avg/max/mdev = 490 us / 751 us / 991 us / 140 us
16K
27 requests completed in 26.3 s, 1.38 k iops, 21.6 MiB/s
min/avg/max/mdev = 544 us / 724 us / 991 us / 111 us
64K
23 requests completed in 22.1 s, 1.33 k iops, 83.5 MiB/s
min/avg/max/mdev = 553 us / 748 us / 988 us / 90 us
128K
21 requests completed in 20.4 s, 1.33 k iops, 166.1 MiB/s
min/avg/max/mdev = 632 us / 752 us / 1.08 ms / 100 us
256K
19 requests completed in 18.3 s, 1.07 k iops, 267.9 MiB/s
min/avg/max/mdev = 791 us / 933 us / 1.14 ms / 83 us
512K
23 requests completed in 22.6 s, 906 iops, 453.3 MiB/s
min/avg/max/mdev = 860 us / 1.10 ms / 1.57 ms / 173 us
1M
21 requests completed in 20.1 s, 702 iops, 702.3 MiB/s
min/avg/max/mdev = 1.23 ms / 1.42 ms / 1.62 ms / 91 us
WWW 4K
32 requests completed in 31.3 s, 1.18 k iops, 4.60 MiB/s
min/avg/max/mdev = 544 us / 848 us / 1.67 ms / 212 us
WWW 8K
34 requests completed in 33.8 s, 1.10 k iops, 8.60 MiB/s
min/avg/max/mdev = 565 us / 907 us / 1.40 ms / 175 us
WWW 16K
29 requests completed in 28.3 s, 1.29 k iops, 20.1 MiB/s
min/avg/max/mdev = 527 us / 777 us / 1.03 ms / 140 us
WWW 32K
32 requests completed in 31.8 s, 1.04 k iops, 32.6 MiB/s
min/avg/max/mdev = 692 us / 959 us / 1.20 ms / 127 us
WWW 64K
27 requests completed in 26.2 s, 1.04 k iops, 65.1 MiB/s
min/avg/max/mdev = 536 us / 959 us / 1.39 ms / 195 us
WWW 128K
29 requests completed in 28.4 s, 894 iops, 111.9 MiB/s
min/avg/max/mdev = 791 us / 1.12 ms / 1.29 ms / 116 us
WWW 256K
24 requests completed in 23.5 s, 887 iops, 221.8 MiB/s
min/avg/max/mdev = 882 us / 1.13 ms / 1.36 ms / 126 us
WWW 512K
22 requests completed in 21.2 s, 661 iops, 330.8 MiB/s
min/avg/max/mdev = 1.25 ms / 1.51 ms / 1.87 ms / 156 us
WWW 1M
20 requests completed in 19.2 s, 509 iops, 509.9 MiB/s
min/avg/max/mdev = 1.48 ms / 1.96 ms / 2.40 ms / 247 us
ubuntu, свежая установка, 2 диска каждый через свой scsi LSO Logic Parallel
Mirror (FTT=0)
При Raid6 и FTT=2 когда диск размазан на все 6 хостов latency вырос на 10%
Вот что получилось
4K
19 requests completed in 18.3 s, 1.43 k iops, 5.58 MiB/s
min/avg/max/mdev = 431 us / 699 us / 1.01 ms / 139 us
8K
16 requests completed in 15.1 s, 1.33 k iops, 10.4 MiB/s
min/avg/max/mdev = 490 us / 751 us / 991 us / 140 us
16K
27 requests completed in 26.3 s, 1.38 k iops, 21.6 MiB/s
min/avg/max/mdev = 544 us / 724 us / 991 us / 111 us
64K
23 requests completed in 22.1 s, 1.33 k iops, 83.5 MiB/s
min/avg/max/mdev = 553 us / 748 us / 988 us / 90 us
128K
21 requests completed in 20.4 s, 1.33 k iops, 166.1 MiB/s
min/avg/max/mdev = 632 us / 752 us / 1.08 ms / 100 us
256K
19 requests completed in 18.3 s, 1.07 k iops, 267.9 MiB/s
min/avg/max/mdev = 791 us / 933 us / 1.14 ms / 83 us
512K
23 requests completed in 22.6 s, 906 iops, 453.3 MiB/s
min/avg/max/mdev = 860 us / 1.10 ms / 1.57 ms / 173 us
1M
21 requests completed in 20.1 s, 702 iops, 702.3 MiB/s
min/avg/max/mdev = 1.23 ms / 1.42 ms / 1.62 ms / 91 us
WWW 4K
32 requests completed in 31.3 s, 1.18 k iops, 4.60 MiB/s
min/avg/max/mdev = 544 us / 848 us / 1.67 ms / 212 us
WWW 8K
34 requests completed in 33.8 s, 1.10 k iops, 8.60 MiB/s
min/avg/max/mdev = 565 us / 907 us / 1.40 ms / 175 us
WWW 16K
29 requests completed in 28.3 s, 1.29 k iops, 20.1 MiB/s
min/avg/max/mdev = 527 us / 777 us / 1.03 ms / 140 us
WWW 32K
32 requests completed in 31.8 s, 1.04 k iops, 32.6 MiB/s
min/avg/max/mdev = 692 us / 959 us / 1.20 ms / 127 us
WWW 64K
27 requests completed in 26.2 s, 1.04 k iops, 65.1 MiB/s
min/avg/max/mdev = 536 us / 959 us / 1.39 ms / 195 us
WWW 128K
29 requests completed in 28.4 s, 894 iops, 111.9 MiB/s
min/avg/max/mdev = 791 us / 1.12 ms / 1.29 ms / 116 us
WWW 256K
24 requests completed in 23.5 s, 887 iops, 221.8 MiB/s
min/avg/max/mdev = 882 us / 1.13 ms / 1.36 ms / 126 us
WWW 512K
22 requests completed in 21.2 s, 661 iops, 330.8 MiB/s
min/avg/max/mdev = 1.25 ms / 1.51 ms / 1.87 ms / 156 us
WWW 1M
20 requests completed in 19.2 s, 509 iops, 509.9 MiB/s
min/avg/max/mdev = 1.48 ms / 1.96 ms / 2.40 ms / 247 us
Здесь всё хорошо. Но это FTT=0,и диск, скорее всего, локальный.
T
Возможно, у вас проблемы на уровне сети/настроек vmk. Попробуйте помигрить ВМ, наблюдая за ioping -WWW.
РД
Здесь всё хорошо. Но это FTT=0,и диск, скорее всего, локальный.
При Raid6 и FTT=2 когда диск размазан на все 6 хостов latency вырос на 10%
РД
Возможно, у вас проблемы на уровне сети/настроек vmk. Попробуйте помигрить ВМ, наблюдая за ioping -WWW.
при миграции диск следует за VM?
T
Нет
T
При Raid6 и FTT=2 когда диск размазан на все 6 хостов latency вырос на 10%
Получается, что "проблемы" с latency в конкретных ВМ?
Потому как в свежих всё в порядке.
Потому как в свежих всё в порядке.
РД
Получается, что "проблемы" с latency в конкретных ВМ?
Потому как в свежих всё в порядке.
Потому как в свежих всё в порядке.
получается что так, в свежих все слишком плавает.
Стабильно проблема на одном centos сервере (latency скачет) и vrealize operations (стабильные 8-10мс это дофига имхо)
Стабильно проблема на одном centos сервере (latency скачет) и vrealize operations (стабильные 8-10мс это дофига имхо)
EZ
Cluster->Monitor->vSAN->Support->Performance for Support->Network->TCP/IP
EZ
и vnic network
EZ
Какая модель коммутаторов, как организовано подключение?
EZ
Что, помимо всана, сидит на его линках?
EZ
Cluster->Monitor->vSAN->Skyline Health->Network->Network latency check->Network Latency among hosts
N
Esxtop ещё посмотрите
EZ
да, на всякий случай - хосты одинаковые? CPU, cache и capacity диски (модель, количество, конфигурация дисковых групп), сетевые карты