однозначно s3

А кроме этого, на какие параметры пула стоит обратить внимание? Настройки стандартные 3/2, сеть 10Г

пул индексов на ssd

Это будет)

еще есть параметр bluestore_min_alloc_size, но это уже статистика нужна

Ок, спасибо за совет.
Буду пинать разрабов чтобы перейти на s3)

В aws s3 раньше были проблемы с производительности, когда файлы назывались одинаково с начала, например, 2020-01-11-09-20-somefile.txt. И так ещё миллион файлов. И все они оказывались в одной партиции (partition) в корзине (bucket).

Поэтому aws рекомендовал раскидывать файлы по разным партициям, например, брать хеш от файла, сокращать хеш до 4 символов и вставлять спереди имени файла, hash-2020-01-11-09-20-somefile.txt

Если есть возможность перейти на с3 то лучше на с3 и сразу научите приклад раскладыватся по бакетам.  В целом для цеффс пару ярдов не большая проблема, просто мдс нежнее ргв :) ну и да в цеффс пару ярдов в одну диру тоже сувать не надо :)

Нигде пару миллиардов файлов не надо "сувать в одну диру" - readdir с ума сойдет.

К сожалению бывают индивиды :)

Пока в одной директории максимум около 100 млн лежит)  это тоже будем устранять.  
По имени - проблемы нет, но так же учту.
Спасибо)

Почему бы сразу не сделать структуру папок как сбалансированное бинарное или иное дерево, желательно, чтобы приклад ещё умел балансировать файлы внутри папок. Чтобы доступ до любого файла был через 2-3 папки/подпапки

Для примера можно взять кеш файлы Squid. Там изначально правильно сделано.

потому что это всратое легаси, проёб архитектуры (да и менялось 100 раз уже) и никто не предполагал, что взлетит и будет так. Но ничего, переделываем и идём к
> любого файла был через 2-3 папки/подпапки

Если вы переделываете в с3 то там достаточно уметь в мультиьакет

Структура там не нужна

ок

Если только листинг никто посмотреть не захочет))

Что, сквид моложе вашего легаси?

зачем вы тгавите(c)

бладж. какой параметр отвечает за попадание pg в 611 pgs not deep-scrubbed in time?
нет, это не osd_deep_scrub_interval -- он у меня 30 суток, а столько еще не прошло.