Size: a a a

Ceph — русскоговорящее сообщество

2021 January 13

R

Ren in Ceph — русскоговорящее сообщество
Dmitriy Yakovlev
их сколько угодно можно. у нас 3 сейчас
аналогично.
спасибо,
источник

DP

Dmitry Polyakov in Ceph — русскоговорящее сообщество
Ren
Ок.
Будем копать дальше
https://docs.ceph.com/en/latest/radosgw/s3/ вот хорошая ссылка с описанием чего умеет сефовский с3
источник

R

Ren in Ceph — русскоговорящее сообщество
Dmitry Polyakov
https://docs.ceph.com/en/latest/radosgw/s3/ вот хорошая ссылка с описанием чего умеет сефовский с3
Благодарю!
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
О, я понял прикол
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
У нас в цефе EC 2+1 + сжатие практически не экономит место по сравнению с 2 репликами + сжатием
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Переслано от Виталий На Заборе...
Короче сохранено 61 ТБ, то есть это 91.5 ТБ raw, из них 81 ТБ пожато до 28 ТБ
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Переслано от Виталий На Заборе...
Но при этом известно, что чётность жмётся в 2.26 раза хуже данных
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Переслано от Виталий На Заборе...
Если из этого примерно подсчитать сжимаемость исходных данных, получается, что у сжимаемых данных она в среднем 4.1
Но там ещё 10.5 ТБ несжимаемых, правда не известно, чётность это или данные
Но если в среднем посчитать, что 7 ТБ из несжимаемых - это исходные данные, то средний коэффициент сжатия исходных данных 3
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Переслано от Виталий На Заборе...
Таким образом, при двух репликах бы у нас получилось занято 61 ТБ / 3 * 2 = 40.6 ТБ
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Переслано от Виталий На Заборе...
А при EC 2+1 у нас получается занято ... 28 ТБ + 10.5 ТБ = 39.5 ТБ
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Переслано от Виталий На Заборе...
То есть разница между Erasure Code 2+1 и сжатием и 2 репликами и сжатием - всего 1 ТБ места
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Виталий На Заборе
Переслано от Виталий На Заборе
Но при этом известно, что чётность жмётся в 2.26 раза хуже данных
(это я посчитал ранее из соотношения занятого места на разных OSD, на которых разное число PG в роли данных и чётности)
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Короче говоря, надо выпилить EC 2+1 и сделать 2 реплики
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Потому что от EC, во-первых, тормоза, а во-вторых, вместе со сжатием неравномерное использование места на OSD
источник
2021 January 14

M

Murmuring in Ceph — русскоговорящее сообщество
Добрый день! А кто занимался глубокой оптимизацией, после того, как запустили кластер? К примеру: распределение очередей с сетевых карт на нума нодах, оптимальная нагрузка каждой нума ноды
источник

M

Murmuring in Ceph — русскоговорящее сообщество
и т.д.
источник

AG

Andrey Groshev in Ceph — русскоговорящее сообщество
Утра! Кто нибудь может прояснить про "object_ctx_cache_hit" ?
источник

VO

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество
Murmuring
Добрый день! А кто занимался глубокой оптимизацией, после того, как запустили кластер? К примеру: распределение очередей с сетевых карт на нума нодах, оптимальная нагрузка каждой нума ноды
Ты это говоришь так, как будто цеф у тебя не тормоз
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Murmuring
Добрый день! А кто занимался глубокой оптимизацией, после того, как запустили кластер? К примеру: распределение очередей с сетевых карт на нума нодах, оптимальная нагрузка каждой нума ноды
Я занимался, в итоге написал свой сторадж.
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
И пишу дальше))
источник