Size: a a a

KVM (PVE/oVirt etc)

2020 December 29

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Nikita Uchaev
Господа, нужен совет.
Есть ряд нод под управлением proxmox на площадках.
Хочу попробовать встроенную реализацию ceph. В связи с этим два вопроса.
1) Момент первый - реализация хранилища. На нодах вся дисковая подсистема представляет собой один zfs пул с пачкой vdev. Т.е. свободных дисков нет. От ceph мне нужно распределенное хранилище. Могу ли я использовать сабвольюм zfs-пула в качестве OSD на ноде? При таком сценарии у меня будет по одному OSD на ноду, сохранность которых будет на плечах ceph.
Поддерживаемый ли это сценарий и с какими проблемами можно столкнуться в процессе?
2) Второй момент - сеть. К сожалению, не на всех площадках есть 10 гигабит. Как правило - агрегация от 2-ух до 4-х гигабитных линков. В случае OSD поверх hdd достаточно ли будет таких линков? А в случае sata-ssd? Понятно, что класть бд на такое хранилище не стоит, но для прочих нагрузок (сервер терминалов, например).
1. не желательно для цеф, но у меня есть кластер прокса у которого по 8 винтов соеденены аппаратным рейдом и вот уже готовый рейдовый диск передается в цеф. Работает, но я бы так не делал. Как поведет себя с зфс - хз.
2. в идеале нужны минимум 10 гигабит под сам цеф, но я делал агрегацию LACP через цисковые свичи 4х1 гигабит и работало. Но там крутились несложные виртуалки - почта, днс, радиус, лдап, даже заббикс.
источник

П

Павел in KVM (PVE/oVirt etc)
а на infiniband не дешевле получится?
источник

NU

Nikita Uchaev in KVM (PVE/oVirt etc)
Павел
а на infiniband не дешевле получится?
Если бы их можно было локально купить за адекватный ценник - с удовольствием.
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Терминальный через агрегацию не гонял, но если там не будет большой нагрузки на сеть, то думаю можно завезти, терминалка вообще не особо требовательна к дисковой и сети, там больше ядра и оператива нужна.
источник

П

Павел in KVM (PVE/oVirt etc)
Nikita Uchaev
Если бы их можно было локально купить за адекватный ценник - с удовольствием.
ну смотря где локально, вот в СПБ https://www.avito.ru/sankt-peterburg/tovary_dlya_kompyutera/kommutator_mellanox_is50xx_1879154228
у него же карты есть по 2500 руб и кабели по 2500

это например )
источник

NU

Nikita Uchaev in KVM (PVE/oVirt etc)
В РБ бы это всё.
источник

П

Павел in KVM (PVE/oVirt etc)
ну Почта РФ не поможет? ))
источник

NU

Nikita Uchaev in KVM (PVE/oVirt etc)
Но да, на инфинибэнд давно посматриваю.
Надо в лабах погонять.
источник

NU

Nikita Uchaev in KVM (PVE/oVirt etc)
Павел
ну Почта РФ не поможет? ))
Есть сомнения.
Закажу под ёлочку.
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Nikita Uchaev
Господа, нужен совет.
Есть ряд нод под управлением proxmox на площадках.
Хочу попробовать встроенную реализацию ceph. В связи с этим два вопроса.
1) Момент первый - реализация хранилища. На нодах вся дисковая подсистема представляет собой один zfs пул с пачкой vdev. Т.е. свободных дисков нет. От ceph мне нужно распределенное хранилище. Могу ли я использовать сабвольюм zfs-пула в качестве OSD на ноде? При таком сценарии у меня будет по одному OSD на ноду, сохранность которых будет на плечах ceph.
Поддерживаемый ли это сценарий и с какими проблемами можно столкнуться в процессе?
2) Второй момент - сеть. К сожалению, не на всех площадках есть 10 гигабит. Как правило - агрегация от 2-ух до 4-х гигабитных линков. В случае OSD поверх hdd достаточно ли будет таких линков? А в случае sata-ssd? Понятно, что класть бд на такое хранилище не стоит, но для прочих нагрузок (сервер терминалов, например).
А сколько нод и дисков на ноду? Может взять гластер? Прокс его норм умеет, если репы свежие подтянуть и ручками все сервера в фстаб прописать, а то прокс только два гластерсервера через вебморду добавляет.
источник

П

Павел in KVM (PVE/oVirt etc)
у меня был один собирал года два назад, с резервированием по железу даже свитчами (Voltaire вроде Mellanox свитчи)  — очень и очень прилично, насколько я помню, там за 3ГБ/сек выжимали, надо будет поискать где-то скрины были
источник

NU

Nikita Uchaev in KVM (PVE/oVirt etc)
Vladimir Manko
А сколько нод и дисков на ноду? Может взять гластер? Прокс его норм умеет, если репы свежие подтянуть и ручками все сервера в фстаб прописать, а то прокс только два гластерсервера через вебморду добавляет.
Ну я вот на linstor смотрю - он же тоже вокруг темы с glusterfs построен, если мне память не изменяет.
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Тогда соберете диски в зфс, а поверх навешаете бриксы и соберете в вольюмы. Я как раз подобное решение сейчас планирую. Хз как взлетит. Еще не собирал и тесты не делал.
источник

DK

Denis K in KVM (PVE/oVirt etc)
Vladimir Manko
Тогда соберете диски в зфс, а поверх навешаете бриксы и соберете в вольюмы. Я как раз подобное решение сейчас планирую. Хз как взлетит. Еще не собирал и тесты не делал.
нормально взлетит
источник

П

Павел in KVM (PVE/oVirt etc)
Nikita Uchaev
Ну я вот на linstor смотрю - он же тоже вокруг темы с glusterfs построен, если мне память не изменяет.
никак нет, там DRBD, кстати тоже Infiniband поддерживает
источник

NU

Nikita Uchaev in KVM (PVE/oVirt etc)
Vladimir Manko
Тогда соберете диски в зфс, а поверх навешаете бриксы и соберете в вольюмы. Я как раз подобное решение сейчас планирую. Хз как взлетит. Еще не собирал и тесты не делал.
Буду очень благодарен, если поделитесь резулльтатом.

На пачке гигабитных линков, верно?
источник

DK

Denis K in KVM (PVE/oVirt etc)
уже второй контур так собираю
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Nikita Uchaev
Ну я вот на linstor смотрю - он же тоже вокруг темы с glusterfs построен, если мне память не изменяет.
я на него давно смотрю, но архитектурные решения и глюки пока в прод не пускают. Новый не смотрел. Все планирую.
источник

NU

Nikita Uchaev in KVM (PVE/oVirt etc)
Павел
никак нет, там DRBD, кстати тоже Infiniband поддерживает
Хм.
Ну тем не менее, поверх zfs работает.
источник

VM

Vladimir Manko in KVM (PVE/oVirt etc)
Denis K
нормально взлетит
я знаю что взлетит, на стенде гонял и проверял, надо теперь увидеть что оно в железе мне даст, по скоростям, прежде всего под большие диски виртуалок
источник