n
надо зафиксировать пациента
Size: a a a
2020 July 02
n
я виртуалкам выделяю память через hugepages по 1гб, при загрузке а то потом фрагментация и пиздец
ВН
в смысле ты там всё жестоко хочешь разрезать на кусочки, чтобы осд никогда не вылез из заданного размера?
n
да, я просто в аргументах ядра хочу задать например 230 hugepages по гигу. но тогда под ОС останется 25 и надо чтобы OOM не пришел, порядок не навел
n
там у меня еще zfs на хостах...
D
т.е. теперь бд может потреблять более 30гигов на ссд
osd.81 spilled over 18 GiB metadata from 'db' device (21 GiB used of 59 GiB) to slow device
osd.85 spilled over 22 GiB metadata from 'db' device (17 GiB used of 59 GiB) to slow device
osd.86 spilled over 19 GiB metadata from 'db' device (19 GiB used of 59 GiB) to slow device
osd.87 spilled over 13 GiB metadata from 'db' device (24 GiB used of 59 GiB) to slow device
osd.88 spilled over 24 GiB metadata from 'db' device (17 GiB used of 59 GiB) to slow device
osd.89 spilled over 19 GiB metadata from 'db' device (19 GiB used of 59 GiB) to slow device
Чет непохоже...
VO
Потому что надо параметры осд ставить правильно посчитанные иначе все бестолку
D
какие параметры?
Am
osd.81 spilled over 18 GiB metadata from 'db' device (21 GiB used of 59 GiB) to slow device
osd.85 spilled over 22 GiB metadata from 'db' device (17 GiB used of 59 GiB) to slow device
osd.86 spilled over 19 GiB metadata from 'db' device (19 GiB used of 59 GiB) to slow device
osd.87 spilled over 13 GiB metadata from 'db' device (24 GiB used of 59 GiB) to slow device
osd.88 spilled over 24 GiB metadata from 'db' device (17 GiB used of 59 GiB) to slow device
osd.89 spilled over 19 GiB metadata from 'db' device (19 GiB used of 59 GiB) to slow device
Чет непохоже...
Компакт в ручню запусти
Am
Ceph daemon osd.id compact
D
Попробую, спасибо
VO
какие параметры?
bluestore_rocksdb_options а в нем -- max_bytes_for_level_base
D
не вижу такой.. он же будет разный на разных нодах
PA
не вижу такой.. он же будет разный на разных нодах
https://github.com/facebook/rocksdb/wiki/RocksDB-Tuning-Guide - тут можно почитать, доки цефа довольно бедные на эту тему
VO
не вижу такой.. он же будет разный на разных нодах
как будто в этом есть что-то ужасное.
D
Если параметр один, а на разных узлах размер партиции может в 2 раза отличаться, то да
VO
https://github.com/facebook/rocksdb/wiki/RocksDB-Tuning-Guide - тут можно почитать, доки цефа довольно бедные на эту тему
можно, но почти бесполезно. это во-первых rocksdb в дикой природе, а не в цефе (в цефе свои особенности) во-вторых упущенны некоторые важные моменты
VO
Если параметр один, а на разных узлах размер партиции может в 2 раза отличаться, то да
ну будет и что? конфиг на разных нодах разный, это ничему не мешает
PA
можно, но почти бесполезно. это во-первых rocksdb в дикой природе, а не в цефе (в цефе свои особенности) во-вторых упущенны некоторые важные моменты
если есть дока лучше - буду признателен, мы тоже сейчас с этим экспериментируем