A
Nikolay Kulikov
К сожалению, SSD под кэш не отдает модель. Уточните все-таки в BMC или вспомните точную модель. Это важно.
Судя по документации, должно быть Intel ssd DC S3710 1,2 Tb
Size: a a a
2020 July 16
N
Iometer тоже запускал. Показывает около 65 мб/с при записи блоками по 4k. На другой виртуалке другой фермы с аналогичными настройками тесты показывали, в среднем, в 2-3 раза больше производительность
IOPS без latency - не очень понятая штука. Отсюда не понятно, прогрузили ли вы подсистему хранения. Так же надо посмотреть на OIO и тип vSCSI адаптера в ВМ.
A
Nikolay Kulikov
IOPS без latency - не очень понятая штука. Отсюда не понятно, прогрузили ли вы подсистему хранения. Так же надо посмотреть на OIO и тип vSCSI адаптера в ВМ.
На моем прикладном уровне это выглядит как "медленно", сделал тесты vsan - максимальная скорость 8000 мб/с, смотрю в перфоманс-лог, вижу среднее значение ~130мб/с. Думаю, что не "прогрузили" реальную дисковую подсистему, и где-то тормозят слои 'прослоек'.
A
В ВМ SCSI controller - LSI Logic Parallel
N
Ок. А что у вас за приклад? Точнее каким профилем она нагружает?
A
Nikolay Kulikov
Ок. А что у вас за приклад? Точнее каким профилем она нагружает?
Бд сродни postgresql со средней нагрузкой, в основном чтение данных из бд. Иногда - формирование в памяти файлов ~150мб и запись их на винчестер, потом стирание через некоторое время
N
Тогда запустите еще раз IOMeter, посмотрите latency, поменяйте vSCSI на pvSCSI (а лучше добавить отдельный контроллер с отдельными дисками). Опционально, сделайте страйпинг 3-6 в Storage Policy.
N
Ожидаемый perfomance в 1 vmdk в R1 без тюнинга должен быть порядка 600MB/s-1.2GB/s на seq запись большим блоком (через vacuumdb, pg_test_fsync) взависимости от железа.
A
Чисто субъективно, еще и машины очень долго копируются. 2 тб машина клонировалась около 5 часов. На другой ферме это завершилось гораздо быстрее
A
В таком сценарии ведь не участвуют контроллеры вирт машин, а только "внутренности" фермы
N
Процессы клонирования ВМ, которые делает ESXi и нагрузки изнутри ВМ различаются. В любом случае, надо запустить нормальный тест и в этот момент посмотреть на бекенд - тогда можно будет понять во что упираемся, после этого исправляем.
A
Nikolay Kulikov
Процессы клонирования ВМ, которые делает ESXi и нагрузки изнутри ВМ различаются. В любом случае, надо запустить нормальный тест и в этот момент посмотреть на бекенд - тогда можно будет понять во что упираемся, после этого исправляем.
Сейчас сделаю машину с win, добавлю iometer. С каким параметрами рекомендуете запускать?
N
С профилем нагрузки максимально близким к промышленному. Запускайте, например, два профиля по очереди - сначала чтение блоками близкими к вашей БД. Threads/Initiators пока не получите latency 1-3мс. Потом можете последовательная запись большими блоками небольшого объема данных. Время тестов хотя бы 30 минут прогрев + 30 минут тест.
A
Вот как выглядит с самого начала. Скорость падает, время задержки растут
A
A
A
Вот профиль, запущенный на 4 worker
KB
прошу прощения, что вмешиваюсь, в свое время упоролся до того, что тавил fio поверх esxi, чтобы понять где какие накладные расходы по io.
A
Получается, что хранилище-то и не нагружено (судя по графикам из борды), а ВМ почему-то много времени ждет завершения io
N
очень плохо всё видно, к сожалению. Давайте в личку - так быстрее будет