Size: a a a

KVM (PVE/oVirt etc)

2021 July 05

NS

Nik Sh in KVM (PVE/oVirt etc)
ну кончно, т.к. оно искаропки замедленное.
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
Нет, потому что LVM thin - cow.
источник

NS

Nik Sh in KVM (PVE/oVirt etc)
Единственный плюс thin - если у тебя много клонов с одно базового образа или тебе нужно иметь тонкие диски для оверпровижена.
источник

NS

Nik Sh in KVM (PVE/oVirt etc)
а cow тормозит всегда по сравнению с обычным
источник

I

Ivan in KVM (PVE/oVirt etc)
сделай их сотню-другую )
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
Надо учитывать производительность заранее. Плюс, уметь настраивать.
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
А что, обычный LVM такое вывезет?
источник

I

Ivan in KVM (PVE/oVirt etc)
zfs не просядет, например
источник

NS

Nik Sh in KVM (PVE/oVirt etc)
скорее всего да, но будет тормозить точно также как и тонкий. Разница лишь в том что обычный не тормозит когда нет снапшотов. А Thin тормозит всегда.
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
LVM thin со снапшотами быстрее обычного LVM со снапшотами. Вы хотите это оспорить?
источник

I

Ivan in KVM (PVE/oVirt etc)
сомнительно. я мерял производительность fio между lvm,thin-lvm и esxi на локальных дисках. всё на уровне статпогршености на hdd. мб на ssd разница выползает, но нет денег на allflash хранилище.
источник

NS

Nik Sh in KVM (PVE/oVirt etc)
+- будет однохерственно, можете забенчить и поделиться с нами результатами.
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
Нет не будет, я проверял.
источник

NS

Nik Sh in KVM (PVE/oVirt etc)
конечно измерять такое надо на ссд
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
Если кому-нибудь интересно, я проверил производительность LVM и LVM thin на SSD Samsung SSD 960 PRO 512GB. Между всеми тестами запускался blkdiscard. Тестировал с помощью fio. Файл задания:

[general]
runtime=1m
time_based
filename=/dev/test_vg/test
direct=1
rw=randwrite
size=4G
ioengine=libaio
iodepth=64
bs=1M
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
Результат чистого LVM без снепшотов:

general: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
fio-3.12
Starting 1 process
Jobs: 1 (f=1): [w(1)][100.0%][w=1544MiB/s][w=1543 IOPS][eta 00m:00s]
general: (groupid=0, jobs=1): err= 0: pid=29392: Mon Jul  5 19:16:45 2021
 write: IOPS=1668, BW=1669MiB/s (1750MB/s)(97.9GiB/60042msec); 0 zone resets
   slat (usec): min=21, max=1198, avg=47.62, stdev=12.57
   clat (usec): min=2505, max=81008, avg=38295.35, stdev=2188.63
    lat (usec): min=2549, max=81060, avg=38343.20, stdev=2188.77
   clat percentiles (usec):
    |  1.00th=[34866],  5.00th=[35914], 10.00th=[36439], 20.00th=[36963],
    | 30.00th=[36963], 40.00th=[37487], 50.00th=[37487], 60.00th=[38011],
    | 70.00th=[38536], 80.00th=[40633], 90.00th=[41681], 95.00th=[41681],
    | 99.00th=[42730], 99.50th=[43779], 99.90th=[46400], 99.95th=[50070],
    | 99.99th=[74974]
  bw (  MiB/s): min= 1526, max= 1804, per=100.00%, avg=1668.92, stdev=77.99, samples=120
  iops        : min= 1526, max= 1804, avg=1668.88, stdev=78.02, samples=120
 lat (msec)   : 4=0.01%, 10=0.01%, 20=0.02%, 50=99.91%, 100=0.05%
 cpu          : usr=7.31%, sys=4.27%, ctx=100538, majf=7, minf=8
 IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
    issued rwts: total=0,100209,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
 WRITE: bw=1669MiB/s (1750MB/s), 1669MiB/s-1669MiB/s (1750MB/s-1750MB/s), io=97.9GiB (105GB), run=60042-60042msec
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
LVM с 5 снепшотами:

general: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
fio-3.12
Starting 1 process
Jobs: 1 (f=1): [w(1)][83.6%][w=56.0MiB/s][w=56 IOPS][eta 00m:12s]
general: (groupid=0, jobs=1): err= 0: pid=4208: Mon Jul  5 19:20:07 2021
 write: IOPS=57, BW=57.7MiB/s (60.5MB/s)(3467MiB/60108msec); 0 zone resets
   slat (usec): min=770, max=126087, avg=17298.60, stdev=8422.71
   clat (msec): min=106, max=1296, avg=1082.83, stdev=91.38
    lat (msec): min=127, max=1321, avg=1100.13, stdev=91.71
   clat percentiles (msec):
    |  1.00th=[  667],  5.00th=[ 1011], 10.00th=[ 1028], 20.00th=[ 1045],
    | 30.00th=[ 1062], 40.00th=[ 1070], 50.00th=[ 1083], 60.00th=[ 1099],
    | 70.00th=[ 1116], 80.00th=[ 1133], 90.00th=[ 1167], 95.00th=[ 1200],
    | 99.00th=[ 1250], 99.50th=[ 1267], 99.90th=[ 1301], 99.95th=[ 1301],
    | 99.99th=[ 1301]
  bw (  KiB/s): min=40960, max=69632, per=99.98%, avg=59051.88, stdev=4822.25, samples=118
  iops        : min=   40, max=   68, avg=57.59, stdev= 4.69, samples=118
 lat (msec)   : 250=0.26%, 500=0.43%, 750=0.46%, 1000=1.96%
 cpu          : usr=0.17%, sys=4.84%, ctx=67758, majf=0, minf=8
 IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.2%, 16=0.5%, 32=0.9%, >=64=98.2%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
    issued rwts: total=0,3467,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
 WRITE: bw=57.7MiB/s (60.5MB/s), 57.7MiB/s-57.7MiB/s (60.5MB/s-60.5MB/s), io=3467MiB (3635MB), run=60108-60108msec
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
LVM thin с чанком 256k без снепшотов:

general: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
fio-3.12
Starting 1 process
Jobs: 1 (f=1): [w(1)][100.0%][w=1538MiB/s][w=1538 IOPS][eta 00m:00s]
general: (groupid=0, jobs=1): err= 0: pid=18455: Mon Jul  5 19:26:52 2021
 write: IOPS=1664, BW=1664MiB/s (1745MB/s)(97.6GiB/60042msec); 0 zone resets
   slat (usec): min=29, max=52677, avg=64.07, stdev=173.36
   clat (usec): min=2513, max=91809, avg=38373.05, stdev=4378.30
    lat (usec): min=2559, max=91862, avg=38438.11, stdev=4376.68
   clat percentiles (usec):
    |  1.00th=[18482],  5.00th=[35390], 10.00th=[35914], 20.00th=[36963],
    | 30.00th=[36963], 40.00th=[37487], 50.00th=[38011], 60.00th=[38536],
    | 70.00th=[39060], 80.00th=[41157], 90.00th=[42206], 95.00th=[42206],
    | 99.00th=[49546], 99.50th=[58983], 99.90th=[76022], 99.95th=[80217],
    | 99.99th=[86508]
  bw (  MiB/s): min= 1526, max= 1868, per=100.00%, avg=1664.35, stdev=81.30, samples=120
  iops        : min= 1526, max= 1868, avg=1664.32, stdev=81.33, samples=120
 lat (msec)   : 4=0.04%, 10=0.14%, 20=0.94%, 50=97.90%, 100=0.97%
 cpu          : usr=7.14%, sys=7.52%, ctx=100131, majf=0, minf=8
 IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
    issued rwts: total=0,99934,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
 WRITE: bw=1664MiB/s (1745MB/s), 1664MiB/s-1664MiB/s (1745MB/s-1745MB/s), io=97.6GiB (105GB), run=60042-60042msec
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
LVM thin с чанком 256k и 5 снепшотами:

general: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
fio-3.12
Starting 1 process
Jobs: 1 (f=1): [w(1)][100.0%][w=1534MiB/s][w=1534 IOPS][eta 00m:00s]
general: (groupid=0, jobs=1): err= 0: pid=15346: Mon Jul  5 19:40:42 2021
 write: IOPS=1665, BW=1665MiB/s (1746MB/s)(97.6GiB/60042msec); 0 zone resets
   slat (usec): min=28, max=50094, avg=64.06, stdev=170.29
   clat (msec): min=2, max=113, avg=38.36, stdev= 4.38
    lat (msec): min=2, max=113, avg=38.42, stdev= 4.37
   clat percentiles (usec):
    |  1.00th=[18482],  5.00th=[36439], 10.00th=[36439], 20.00th=[36963],
    | 30.00th=[37487], 40.00th=[37487], 50.00th=[37487], 60.00th=[38011],
    | 70.00th=[38536], 80.00th=[41157], 90.00th=[41681], 95.00th=[42206],
    | 99.00th=[48497], 99.50th=[58983], 99.90th=[79168], 99.95th=[83362],
    | 99.99th=[96994]
  bw (  MiB/s): min= 1522, max= 1886, per=99.99%, avg=1665.00, stdev=79.44, samples=120
  iops        : min= 1522, max= 1886, avg=1664.95, stdev=79.46, samples=120
 lat (msec)   : 4=0.04%, 10=0.12%, 20=0.97%, 50=97.95%, 100=0.92%
 lat (msec)   : 250=0.01%
 cpu          : usr=7.29%, sys=7.40%, ctx=100311, majf=0, minf=8
 IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
    issued rwts: total=0,99976,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
 WRITE: bw=1665MiB/s (1746MB/s), 1665MiB/s-1665MiB/s (1746MB/s-1746MB/s), io=97.6GiB (105GB), run=60042-60042msec
источник

SM

Sergey Morozov in KVM (PVE/oVirt etc)
Чтобы не читать много текста:

Чистый LVM: 1669MiB/s
Чистый LVM + 5 снепшотов: 57.7MiB/s
LVM thin: 1664MiB/s
LVM thin + 5 снепшотов: 1665MiB/s
источник