Size: a a a

Ceph — русскоговорящее сообщество

2020 June 27

ДД

Дмитрий Дятлов... in Ceph — русскоговорящее сообщество
не буду спорить. линейная запись в реальной работе редко получается. По крайне мере у меня.
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
потестил, результат в файле
Ага. Спс. Но, кстати... это же QLC, по уму ему надо SLC кэш забить и ещё раз протестить 😊
источник

ДД

Дмитрий Дятлов... in Ceph — русскоговорящее сообщество
Виталий На Заборе
Ага. Спс. Но, кстати... это же QLC, по уму ему надо SLC кэш забить и ещё раз протестить 😊
Что значит забить?
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
Что значит забить?
Ну типа записать линейно процентов 10 ёмкости, и потом повторить тесты
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
У них запись сначала пишется в быстрый SLC кэш
источник

ДД

Дмитрий Дятлов... in Ceph — русскоговорящее сообщество
hdparm -W 0 /dev/sdb
hdparm -W 1 /dev/sdb

Это не решает проблему?
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
А потом когда он кончается - всё падает
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
hdparm -W 0 /dev/sdb
hdparm -W 1 /dev/sdb

Это не решает проблему?
Не. Это не оно
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
hdparm -W 0 /dev/sdb
hdparm -W 1 /dev/sdb

Это не решает проблему?
SLC кэш - это когда SSD умеет писать часть данных в быстром режиме, используя те же ячейки памяти не как QLC (4 бита на ячейку), а как SLC (1 бит). Влезает меньше, но зато пишется сильно быстрее. Используется типа как буфер - пишешь, и первые скажем 100 гигов пишутся быстро - на скорости 450 МБ/с. А потом SLC кэш кончается и приходится писать в QLC, и скорость падает до 90 МБ/с. В TLC дисках тоже встречается, но довольно редко. А в QLC есть во всех поголовно, что сейчас есть на рынке
источник

ДД

Дмитрий Дятлов... in Ceph — русскоговорящее сообщество
Виталий На Заборе
Не. Это не оно
Ну в принципе, могу повторить.

записать 800ГБ из /dev/null пойдет?
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
Ну в принципе, могу повторить.

записать 800ГБ из /dev/null пойдет?
fio просто линейный пусти на подольше. и подожди, пока упадёт скорость записи. и после этого прерывай его и сразу повторяй тесты :)
fio -ioengine=libaio -direct=1 -name=test -bs=4M -iodepth=32 -rw=write -filename=/dev/sdXX
источник

D

Dimm in Ceph — русскоговорящее сообщество
Тут тесты в основном будут локальные я думаю, с маленьким latency... На больших расстояниях MTU начинает сильно влиять
источник

D

Dimm in Ceph — русскоговорящее сообщество
Jumbo frames пределах дата центра и не рекомендуют особо, а вот через океан данные гонять это уже большая разница. Но как для сефа не знаю
источник

ДД

Дмитрий Дятлов... in Ceph — русскоговорящее сообщество
Виталий На Заборе
fio просто линейный пусти на подольше. и подожди, пока упадёт скорость записи. и после этого прерывай его и сразу повторяй тесты :)
fio -ioengine=libaio -direct=1 -name=test -bs=4M -iodepth=32 -rw=write -filename=/dev/sdXX
1 часа хватит?
источник

D

Dimm in Ceph — русскоговорящее сообщество
Нашли правильные NVME
https://www.newegg.com/seagate-nytro-5000-nvme-480gb/p/1Z4-002P-00G31
Будем тестить :)
источник

D

Dimm in Ceph — русскоговорящее сообщество
Смущает только что 480/16=ровно 30... Влезет туда rocks db на 30 гигов для 16 дисков, или не хватит немножко и будет 3?
источник

ДД

Дмитрий Дятлов... in Ceph — русскоговорящее сообщество
Виталий На Заборе
fio просто линейный пусти на подольше. и подожди, пока упадёт скорость записи. и после этого прерывай его и сразу повторяй тесты :)
fio -ioengine=libaio -direct=1 -name=test -bs=4M -iodepth=32 -rw=write -filename=/dev/sdXX
[root@###### ~]# fio -ioengine=libaio -direct=1 -name=test -bs=4M -iodepth=32 -rw=write -filename=/dev/sdb -runtime=3600; bash test_sdb.sh
test: (g=0): rw=write, bs=(R) 4096KiB-4096KiB, (W) 4096KiB-4096KiB, (T) 4096KiB-4096KiB, ioengine=libaio, iodepth=32
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [W(1)][11.5%][r=0KiB/s,w=348MiB/s][r=0,w=87 IOPS][eta 53m:05s]


Запустил пока, но постоянно следить, когда там скорость упадет не могу.
источник

F

FLASh in Ceph — русскоговорящее сообщество
А лог разве нельзя писать?
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
[root@###### ~]# fio -ioengine=libaio -direct=1 -name=test -bs=4M -iodepth=32 -rw=write -filename=/dev/sdb -runtime=3600; bash test_sdb.sh
test: (g=0): rw=write, bs=(R) 4096KiB-4096KiB, (W) 4096KiB-4096KiB, (T) 4096KiB-4096KiB, ioengine=libaio, iodepth=32
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [W(1)][11.5%][r=0KiB/s,w=348MiB/s][r=0,w=87 IOPS][eta 53m:05s]


Запустил пока, но постоянно следить, когда там скорость упадет не могу.
Думаю хватит))
источник

e

edo1 in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
Ну в принципе, могу повторить.

записать 800ГБ из /dev/null пойдет?
из zero? нет, не пойдёт
источник