k
drbdmanage и правда глючный, потому они от него отказались и написали нормальный linstor
Size: a a a
2019 June 27
А🐎
Понял, вечером попробую с linstor
k
"Теперь вопрос: почему Proxmox?
В принципе для построения подобной схемы мы могли бы использовать и Kubernetes"
В принципе для построения подобной схемы мы могли бы использовать и Kubernetes"
Я и использую, просто proxmox простой и наглядно подходит для такой статьи
k
+ там есть встроенный cluster-manager и fencing на вочдогах
G
Думаю на тему обновления большого хранилища (оно тоже NFS HA), сейчас там 2 ноды на DRBD8 + pacemaker/corosync - соответственно периодически имеем проблемы со split brain.
Варианты:
1. делать по только что опробованной схеме (3 ноды NFS HA - proxmox - DRBD9)
2. железячная двухконтроллерная хранилка, подключенная к 2 (или 3) нодам на которых NFS HA.
В связи с этим вопросы:
1. Какой вариант лучше в плане надёжности и сложности поддержки?
2. Если вариант номер 2 (к чему я склоняюсь) то надо ли там 3 ноды или достаточно 2? Я не вижу большого преимущества от наличия кворума в данном случае если я обеспечу блокировку от монтирования ресурсов с хранилища более чем на одном сервере.
3. Какую операционку и какой софт для кластеризации лучше выбирать для нод?
Варианты:
1. делать по только что опробованной схеме (3 ноды NFS HA - proxmox - DRBD9)
2. железячная двухконтроллерная хранилка, подключенная к 2 (или 3) нодам на которых NFS HA.
В связи с этим вопросы:
1. Какой вариант лучше в плане надёжности и сложности поддержки?
2. Если вариант номер 2 (к чему я склоняюсь) то надо ли там 3 ноды или достаточно 2? Я не вижу большого преимущества от наличия кворума в данном случае если я обеспечу блокировку от монтирования ресурсов с хранилища более чем на одном сервере.
3. Какую операционку и какой софт для кластеризации лучше выбирать для нод?
железячная будет производительнее, а понадобится больше места - ставите такую же и поверх собираете lustre, если нужна единая ФС.
G
и собирается своими руками также, hba адаптеры плюс enclosure тащемта, https://github.com/ewwhite/zfs-ha/wiki , zfs заменить по вкусу на другое
k
и собирается своими руками также, hba адаптеры плюс enclosure тащемта, https://github.com/ewwhite/zfs-ha/wiki , zfs заменить по вкусу на другое
Одно время собирал люстру поверх ZFS и DRBD и всё это в Kubernetes, было весело)
k
ну это так, proof of concept был)
G
намешал знатно конечно)
G
но за PoC +1
2019 June 28
AP
железячная будет производительнее, а понадобится больше места - ставите такую же и поверх собираете lustre, если нужна единая ФС.
да, вот я тоже думаю что железячная будет производительнее и скорее надёжнее. А сколько нод под HA NFS сервер ты бы посоветовал ставить в таком случае - 2 или 3? И какой cluster management?
G
да, вот я тоже думаю что железячная будет производительнее и скорее надёжнее. А сколько нод под HA NFS сервер ты бы посоветовал ставить в таком случае - 2 или 3? И какой cluster management?
Enclosure одна, внутри большая часть резервируется, ставить больше 2х серверов к ней смысла немного, имхо лучше тогда держать на готове ещё один сервер с бекапами.
Если это только хранилки - можно тем же pacemaker, по ссылке выше
Если это только хранилки - можно тем же pacemaker, по ссылке выше
AP
и собирается своими руками также, hba адаптеры плюс enclosure тащемта, https://github.com/ewwhite/zfs-ha/wiki , zfs заменить по вкусу на другое
можно, но вопрос в сборке всего руками и поддержке (а все железо арендуется у провайдера, от нас очень далеко)
кроме того самосборная не поддерживает синхронизацию кешей контроллеров
кроме того самосборная не поддерживает синхронизацию кешей контроллеров
G
можно, но вопрос в сборке всего руками и поддержке (а все железо арендуется у провайдера, от нас очень далеко)
кроме того самосборная не поддерживает синхронизацию кешей контроллеров
кроме того самосборная не поддерживает синхронизацию кешей контроллеров
Ну на вкус и цвет, кеш - завязка на вендора, тут что предпочтёте просто.
AP
Enclosure одна, внутри большая часть резервируется, ставить больше 2х серверов к ней смысла немного, имхо лучше тогда держать на готове ещё один сервер с бекапами.
Если это только хранилки - можно тем же pacemaker, по ссылке выше
Если это только хранилки - можно тем же pacemaker, по ссылке выше
Спасибо, ссыль посмотрю
как раз на pacemaker у нас сейчас крутится, так что опыт уже богатый
как раз на pacemaker у нас сейчас крутится, так что опыт уже богатый
AP
@gmelikov Ещё раз спасибо за ссылку, поглядел - очень толковое описание! Как раз примерно то что хочется.
Единственно что во всем этом меня напрягает - то что автор рекмендует RHEL7/CentOS7, у меня с центосью как раз не очень хороший опыт
Но подумаю
Единственно что во всем этом меня напрягает - то что автор рекмендует RHEL7/CentOS7, у меня с центосью как раз не очень хороший опыт
Но подумаю
G
DB
@gmelikov Ещё раз спасибо за ссылку, поглядел - очень толковое описание! Как раз примерно то что хочется.
Единственно что во всем этом меня напрягает - то что автор рекмендует RHEL7/CentOS7, у меня с центосью как раз не очень хороший опыт
Но подумаю
Единственно что во всем этом меня напрягает - то что автор рекмендует RHEL7/CentOS7, у меня с центосью как раз не очень хороший опыт
Но подумаю
Ещё добавляются плюшки zfs, то как репликация например )). Что иногда прям удобно