Size: a a a

KVM (PVE/oVirt etc)

2019 April 15

i

ivdok in KVM (PVE/oVirt etc)
Dmitry Moskvenkov
Друзья, а кто-нибудь Proxmox + ZFS в проде использует?
я у одних товарищей использую 2 ноды FreeNAS - мастер и слэйв и с них раздаю сторэйджи по ISCSI на 4 ноды ESXi. Итого: 6 серверов.
На FreeNAS - ZFS со снимками средствами ZFS, как таковых бэкапов нет, т.к. ZFS зеркалирована между нодами FreeNAS.
Думаю переезд на Proxmox и из 6 имеющихся железок поднять кластер и так же использовать снэпшоты ZFS для нужд отката нежелательных изменений и т.п.
Хотелось бы услышать мнение сообщества.
Использую. Зависимости нет, брат жив, рекомендую
источник

i

ivdok in KVM (PVE/oVirt etc)
Мгновенные снэпшоты и дедупликация очень экономят время и нервы
источник

i

ivdok in KVM (PVE/oVirt etc)
Но я бы не использовал RAIDZ, просадка по записи ощутимая
источник

DM

Dmitry Moskvenkov in KVM (PVE/oVirt etc)
ivdok
Но я бы не использовал RAIDZ, просадка по записи ощутимая
SSD под кэш и журнал используете?
источник

i

ivdok in KVM (PVE/oVirt etc)
Dmitry Moskvenkov
SSD под кэш и журнал используете?
В планах, SSD уехали в кластер к vSphere, к сожалению :(
источник

i

ivdok in KVM (PVE/oVirt etc)
Вместе с gpu
источник

i

ivdok in KVM (PVE/oVirt etc)
Сразу скажу, что на ZFS лучше RAM с запасом выделять
источник

MG

Maxim Gusev in KVM (PVE/oVirt etc)
Dmitry Moskvenkov
Снэпшотами zfs пользуетесь?
Да
источник

MG

Maxim Gusev in KVM (PVE/oVirt etc)
ivdok
Но я бы не использовал RAIDZ, просадка по записи ощутимая
Слишком ощутимая я б сказал
источник

MG

Maxim Gusev in KVM (PVE/oVirt etc)
ivdok
Сразу скажу, что на ZFS лучше RAM с запасом выделять
На 1 тб 1 Гбит рама вродь
источник

G

George in KVM (PVE/oVirt etc)
Maxim Gusev
На 1 тб 1 Гбит рама вродь
миф
источник

MG

Maxim Gusev in KVM (PVE/oVirt etc)
George
миф
Ок)))
источник

П

Павел in KVM (PVE/oVirt etc)
ivdok
Мгновенные снэпшоты и дедупликация очень экономят время и нервы
В zfs дедупликация не нужна, не надо её включать, реальный профит от неё на очень специальных данных есть (например те же бэкапы, по идее), а реальные проблемы с выжиранием памяти - всегда. Если бы она была офлайн или в idle режиме делала спокойно ремап то и ладно, а оно в реальном режиме работает, всю таблицу блоков держит в памяти (где-то по 380 байт на блок) и при каждой операции пробегает.
Используйте сжатие lz4 везде, эффект сильно выше, причём на медленных дисках ещё и io уменьшает, т.е. фактически ускоряет работу.
Дедубликация - это очень распространенная ошибочно используемая функция zfs
источник

TF

Terry Filch in KVM (PVE/oVirt etc)
Maxim Gusev
На 1 тб 1 Гбит рама вродь
1Гбит не равно 1Гбайт
источник

MG

Maxim Gusev in KVM (PVE/oVirt etc)
Terry Filch
1Гбит не равно 1Гбайт
Автозамена
источник

MG

Maxim Gusev in KVM (PVE/oVirt etc)
:(
источник

П

Павел in KVM (PVE/oVirt etc)
Maxim Gusev
На 1 тб 1 Гбит рама вродь
Это скорее из рекомендаций ceph osd (да и то, при файловых osd)

ZFS съест всю выделенную память (обычно под умолчанию 50% от всей RAM если не ошибаюсь) ну и нехотя будет возвращать при запросах системы (memory throttle) до arc_size_min размера

В принципе, при обычных задачах, память оно вернёт, но в Linux этот механизм работает несколько специфично и вызывает swap эффекты неприятные

То с чем столкнётесь если используется zfs на хосте вместе с kvm (как например в proxmox) - перед запуском гостя (виртуалки) квм проверит доступность памяти и так как память занятую кэшем zfs он не считает доступной -- то просто не даст вам запустить машинку
источник

G

George in KVM (PVE/oVirt etc)
Павел
В zfs дедупликация не нужна, не надо её включать, реальный профит от неё на очень специальных данных есть (например те же бэкапы, по идее), а реальные проблемы с выжиранием памяти - всегда. Если бы она была офлайн или в idle режиме делала спокойно ремап то и ладно, а оно в реальном режиме работает, всю таблицу блоков держит в памяти (где-то по 380 байт на блок) и при каждой операции пробегает.
Используйте сжатие lz4 везде, эффект сильно выше, причём на медленных дисках ещё и io уменьшает, т.е. фактически ускоряет работу.
Дедубликация - это очень распространенная ошибочно используемая функция zfs
+1, но кстати в master уже влили https://github.com/zfsonlinux/zfs/pull/5182 , скоро можно будет для DDT выделить SSD и будет весьма лучше. Хотя по дефолту я бы рекомендацию не менял - НЕ использовать дедупликацию.
источник

П

Павел in KVM (PVE/oVirt etc)
Дедубликация в реальном времни очень специальный требует юзкейс, на всяких попроще системах хранения, они используют idle механизм дедубликации, когда некий сборщик тихо при сюотсутствии io ходит и находит одинаковые блоки и ремапит/хардлинкает их, т.е. по сути снижает использования raw данных, при этом система работает в живую как бы без и не нужно ничего в памяти держать. Но в zfs сделали по другому, а в результате эта штука стала очень спорной, так как при больших таблицах там вообще просадка по задержкам на запись становится очень ощутимой
источник

TF

Terry Filch in KVM (PVE/oVirt etc)
Павел
Это скорее из рекомендаций ceph osd (да и то, при файловых osd)

ZFS съест всю выделенную память (обычно под умолчанию 50% от всей RAM если не ошибаюсь) ну и нехотя будет возвращать при запросах системы (memory throttle) до arc_size_min размера

В принципе, при обычных задачах, память оно вернёт, но в Linux этот механизм работает несколько специфично и вызывает swap эффекты неприятные

То с чем столкнётесь если используется zfs на хосте вместе с kvm (как например в proxmox) - перед запуском гостя (виртуалки) квм проверит доступность памяти и так как память занятую кэшем zfs он не считает доступной -- то просто не даст вам запустить машинку
лимиты ставьте, не ленитесь
источник