PA
POOL ID STORED OBJECTS USED %USED MAX AVAIL
backup_metadata 29 199 GiB 6.63M 598 GiB 28.31 505 GiB
378.41M objects
backup_metadata 29 199 GiB 6.63M 598 GiB 28.31 505 GiB
378.41M objects
Size: a a a
2020 July 06
NN
какими именно?
уменьшал target_max_objects & target_max_bytes - только ими получилось очистить кеш,
cache-flush-evict-all не помогал, много объектов (>2M) на которые rados выдавал not found
cache-flush-evict-all не помогал, много объектов (>2M) на которые rados выдавал not found
PA
вообще кеш тиринг - штука довольно глюкавая, лучше на ссд бкешей наделать для дисков
NN
я как раз мигрирую в эту сторону
G
я смотрю идея с бкешем прижилась
AP
уменьшал target_max_objects & target_max_bytes - только ими получилось очистить кеш,
cache-flush-evict-all не помогал, много объектов (>2M) на которые rados выдавал not found
cache-flush-evict-all не помогал, много объектов (>2M) на которые rados выдавал not found
Не сработало. Выставил target_max_bytes в 1, в итоге количество грязных объектов в пуле для кеша уменьшилось, но из-за клиентского траффика не смогло уменьшиться до нуля. Осталось 10-20 объектов.
AP
на тестовом кластере выкрутился через
ceph osd tier cache-mode alex-test-rbd-cache forward --yes-i-really-mean-it, но раз ceph говорит, что так можно повредить данные, то для production хотелось бы найти другое решение.AP
(цель - убрать cache tier, не останавливая клиентский траффик)
NN
Я выставлял 10мб и объектов 1к, оставил на ночь практически все выдавил
NN
Дальше в прокси нужно переводить
AP
без клиентского траффика оно действительно само полностью выдавливается
AP
вот я и перевел в прокси, а оно похоже пишет сначала в кеш, а потом сразу же в основной пул, и грязь в кеше остается
А
хм... походу реально бкеши будут сильно лучше кэш тира, обидно
DP
ого, в клубе "есть кэш тир и он нам больше подходит" убыль населения
А
люди покидают вас, милорд
NN
вот я и перевел в прокси, а оно похоже пишет сначала в кеш, а потом сразу же в основной пул, и грязь в кеше остается
поставь побольше значение hit_set_count Ж)
AP
поставь побольше значение hit_set_count Ж)
завтра попробую на тестовом кластере
NN
завтра попробую на тестовом кластере
и про min_read_recency_for_promote/min_write_recency_for_promote - не забудь
AP
огромное спасибо
AP
поставь побольше значение hit_set_count Ж)
не совсем понял - что делать с hit_set_period - оставить как есть или пропорционально уменьшить