Size: a a a

KVM (PVE/oVirt etc)

2020 August 14

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
Terry Filch
тебе видно нужна платная поддержка от @dyasny
ну почалося, я ж не планирую oVirt использовать, чисто для себя интересуюсь, как у белых людей работа с блочными дивайсами устроена)))
источник

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
Konstantin Aristov
тип у того, что видит lsblk - lvm, я правильно понимаю, что oVirt сам пилит поверх моего большого LUNа нужное ему количество устройств?
@dyasny я в этой своей догадке же прав?))
источник

DY

Dan Y in KVM (PVE/oVirt etc)
Konstantin Aristov
@dyasny я в этой своей догадке же прав?))
все намного проще. Storage Domain это просто VG. LUN это PV. Taк что можно собирать SD из нескольких LUNов. Дальше прямо в VG выделяются несколько LV под метадату, плюс метадата о самих LV хранится в lv tags (lvs -o + tags чтоб посмотреть). Машины получают вырезанные LV как диски. Если диск preallocated то полный размер, если sparse то 512Мб и он будет расти скачками по 0.5Гб по мере надобности. Для того чтоб не ковыряться в метадате все время, UUID всех LV хранится в базе
источник

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
Dan Y
все намного проще. Storage Domain это просто VG. LUN это PV. Taк что можно собирать SD из нескольких LUNов. Дальше прямо в VG выделяются несколько LV под метадату, плюс метадата о самих LV хранится в lv tags (lvs -o + tags чтоб посмотреть). Машины получают вырезанные LV как диски. Если диск preallocated то полный размер, если sparse то 512Мб и он будет расти скачками по 0.5Гб по мере надобности. Для того чтоб не ковыряться в метадате все время, UUID всех LV хранится в базе
ага, спасибо!
а почему lvs не видит тома? это я стенд криво развернул?
источник

DY

Dan Y in KVM (PVE/oVirt etc)
Konstantin Aristov
ага, спасибо!
а почему lvs не видит тома? это я стенд криво развернул?
рефреш нужно сделать
источник

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
прошу прощения за тупизну, реыреш чего?))
источник

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
блин, про то, что LUN - это PV я не допер, спасибо ещё раз!!!
источник

DY

Dan Y in KVM (PVE/oVirt etc)
там LVM обрабатывается системным юзером vdsm, поэтому обычный юзер не видит lvs без рефреша
источник

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
а, ещё вопрос - я правильно понимаю, что никакого внешнего менеджера блокировок типа sanlock нету, все управление блокировками (что бы с 2х нод виртуализации не пытались запустить одну и ту же ВМ) - внутри oVirt?
источник

DY

Dan Y in KVM (PVE/oVirt etc)
Konstantin Aristov
а, ещё вопрос - я правильно понимаю, что никакого внешнего менеджера блокировок типа sanlock нету, все управление блокировками (что бы с 2х нод виртуализации не пытались запустить одну и ту же ВМ) - внутри oVirt?
конечно. блокировки были еще до sanlock. элементарное lvchange -ay только на том хосте которому можно писать в LV и все
источник

DY

Dan Y in KVM (PVE/oVirt etc)
SPM - машина которой можно писать в метадату
источник

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
Dan Y
конечно. блокировки были еще до sanlock. элементарное lvchange -ay только на том хосте которому можно писать в LV и все
ага, нашел в access.redhat.com статью, как быть, если блокировка не снимается))
источник

DY

Dan Y in KVM (PVE/oVirt etc)
там бывают проблемы конечно, но это все равно намного более надежная схема чем стандартные кластерные фс и локи через SCSI-3PR
источник

DY

Dan Y in KVM (PVE/oVirt etc)
и масштабируется намного лучше. У вари до сих пор кластер вроде как не больше 32 машин. в овирте официально 200 (в реальности мы как-то подняли 10к машин и все работало, но с тормозами)
источник

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
огромное спасибо за информацию!!!)))
источник

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
Dan Y
конечно. блокировки были еще до sanlock. элементарное lvchange -ay только на том хосте которому можно писать в LV и все
кстати, в 4.4 sanlock таки есть, судя по списку процессов и тому, что sanlock client status на разных нодах виртуализации кажет - рулят блокировками именно через него
источник

DY

Dan Y in KVM (PVE/oVirt etc)
Konstantin Aristov
кстати, в 4.4 sanlock таки есть, судя по списку процессов и тому, что sanlock client status на разных нодах виртуализации кажет - рулят блокировками именно через него
да, это добавили в 3.2 емнип
источник

DY

Dan Y in KVM (PVE/oVirt etc)
но больше для того чтоб SAN fencing не писать самим
источник

KA

Konstantin Aristov in KVM (PVE/oVirt etc)
ну вот я пытался замутить нечто похожее на голом либвирт, пробрасывая в виде томов LUNы (через iSCSI с СХД) и пытаясь использовать связку CLVM + Sanlock - у меня не получилось смигрировать ВМку, не проходило lvchange -aey, что бы отпустить том на текущей ноде (перед тем, как отдать том на другую), а у oVirt это как-то работает )))
источник

DY

Dan Y in KVM (PVE/oVirt etc)
Konstantin Aristov
ну вот я пытался замутить нечто похожее на голом либвирт, пробрасывая в виде томов LUNы (через iSCSI с СХД) и пытаясь использовать связку CLVM + Sanlock - у меня не получилось смигрировать ВМку, не проходило lvchange -aey, что бы отпустить том на текущей ноде (перед тем, как отдать том на другую), а у oVirt это как-то работает )))
clvm надо выбросить
источник