Size: a a a

KVM (PVE/oVirt etc)

2019 September 22

k

kvaps in KVM (PVE/oVirt etc)
Vladimir Manko
Если вынуть из массива диск, а вставить новый, то никак без потери массива или данных он не собирается.
У тебя же --mirrors 1 --stripes 4 Ты вообще уверен, что оно должно быть отказоустойчиво с 4мя страйпами на 4х дисках?
источник

NS

Nik Sh in KVM (PVE/oVirt etc)
Vladimir Manko
Да ну ... начиная с ядра там капец. Сравнивая ядро фрибзди и линуха можно афигеть ...
Ну так это же сборки, каждый собирает что хочет, единого ядра грубо-говоря давно нет. У бзди юзеров осталось три с половиной пенсионера - вот и нет такой дикой фрагментации в ядре.
источник

k

kvaps in KVM (PVE/oVirt etc)
Vladimir Manko
На вопрос зачем - вводная, 3 сервера по 2 зеона(8 ядер 16 потоков), 12 дисков по 8ТБ, 4 ссд по 800ГБ, и 64ГБ памяти. Исходя из условий ceph, а за ним zfs+что-то(glusterfs/drbd9 ...) отпадают из-за конских требований по памяти для обслуживания такого RAW пространства. Остается thinlvm+drbd9, как drbd9 по памяти я не знаю, подозреваю лучше чем zfs или ceph, а вот то что thinlvm по скорости одно из самых быстрых решений, а по памяти можно вообще не заморачиваться, это да.
Вообще тебе бы сразу Linstor взять с таким кейсом
источник

k

kvaps in KVM (PVE/oVirt etc)
И это, ю ар велкам то t.me/sds_ru
источник

NS

Nik Sh in KVM (PVE/oVirt etc)
kvaps
Вообще тебе бы сразу Linstor взять с таким кейсом
там вроде через сеть не нужно было, или я пропустил в требованиях?
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
kvaps
У тебя же --mirrors 1 --stripes 4 Ты вообще уверен, что оно должно быть отказоустойчиво с 4мя страйпами на 4х дисках?
Ошибка в команде - поправил, 2 страйпа.
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
kvaps
У тебя же --mirrors 1 --stripes 4 Ты вообще уверен, что оно должно быть отказоустойчиво с 4мя страйпами на 4х дисках?
Я проверял, делает 2 зеркала, и из них страйп. Я просто команду урезал, потому что базовая была для 8 дисков. Очепятался.
источник

k

kvaps in KVM (PVE/oVirt etc)
Nik Sh
там вроде через сеть не нужно было, или я пропустил в требованиях?
Ну он всё равно хотел DRBD поверх thinlvm, так вот Linstor это и делает, просто автоматически
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Когда я вынимал диск массив работал с той же скоростью и все было на месте, в консоль валит диск тайкой-то пропал.
источник

NS

Nik Sh in KVM (PVE/oVirt etc)
kvaps
Ну он всё равно хотел DRBD поверх thinlvm, так вот Linstor это и делает, просто автоматически
а, тода конечно ему в линстор сразу.
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
kvaps
Ну он всё равно хотел DRBD поверх thinlvm, так вот Linstor это и делает, просто автоматически
Так я это и хочу. DRBD 9 имеет плагин для прокса, а работает поверх thinlvm или zfs. Вот я и хочу thinlvm пулы, поверх linstor + drbd9 и все через плагин скормить проксу.
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Или я что то делаю не так?
источник

k

kvaps in KVM (PVE/oVirt etc)
Vladimir Manko
Так я это и хочу. DRBD 9 имеет плагин для прокса, а работает поверх thinlvm или zfs. Вот я и хочу thinlvm пулы, поверх linstor + drbd9 и все через плагин скормить проксу.
Не совсем понятно зачем тебе mirror на стороне lvm
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Если локально сдохнет диск что бы локальный сторадж работал до замены. Или есть предложение запилить тонкий пул и реплицировать через линстор и дрбд, а если сдохнет то виртуалки уедут на другую ноду?
источник

NS

Nik Sh in KVM (PVE/oVirt etc)
kvaps
Не совсем понятно зачем тебе mirror на стороне lvm
вот, вот, это был мой первый вопрос, а тут еще линстор умеет в теневые диски и можно даже не переезжать при вылете.
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
https://www.linbit.com/en/linstor-setup-proxmox-ve-volumes/ брал за основу вот это ну и их доку.
источник

k

kvaps in KVM (PVE/oVirt etc)
Vladimir Manko
Если локально сдохнет диск что бы локальный сторадж работал до замены. Или есть предложение запилить тонкий пул и реплицировать через линстор и дрбд, а если сдохнет то виртуалки уедут на другую ноду?
Если сдохнет локальный диск drbd-ресурс перейдёт в состояние diskless и продолжит работу со второй ноды
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Да но тогда трафик виртуалок будет гонятся до второй ноды через сеть.
источник

k

kvaps in KVM (PVE/oVirt etc)
Vladimir Manko
Да но тогда трафик виртуалок будет гонятся до второй ноды через сеть.
Он и так будет, как ни крути
источник

k

kvaps in KVM (PVE/oVirt etc)
DRBD - это зеркало (пока что), и все операции записи он будет редиректить на все data-ресурсы
источник