Вот тут статейка была - https://habr.com/ru/post/423101/

как оно относительно ceph по надежности/производительности?

Дрбд пробовал, в две ноды это ужас.

про 2 ноды я не говорю, интересует минимум 3 и больше

А вообще, как правильно советуют, лучше для баз брать pacemaker и делать active-backup. Т.к. при вылете ноды есть ненулевая вероятность что резерв не поднимется или будет очень долго чекать фс или базы. HA для баз на уровне вм не очень решение.

А хз, старый drbd не умел больше двух год, а новый я не щупал

Я вообще то о том, что drbd для баз - занятие неблагодарное. Если есть нативная репликация - блочная будет в любом случае ей проигрывать. А во сколько концов его там лить - неважно. (В старом варианте третим узлом мог быть кворум-девайс)

Я вообще думал на обоих нодах поднять мускул и через карп его юзать

Как pg считал? У меня для 6-ти osd по 600 Гб был 128

Ну так и надо по хорошему. Только я бы все таки взял pacemaker, он умеет в хелс-чек сервисов. Можно даже веб-мордой его настраивать.

Кто-нибудь сталкивался при работе с сетевыми картами intel x550t (или подобными) с тем что при опускании линка, на стороне коммутатора он продолжает назодиться в состоянии up?
А при его повторно поднятии на сервере, на стороне коммутатора интерфейс переводится в down и только потом в состояние up

Причём при поднятии интерфейса, на сервере иногда видно,  что линк переходил в состояние down:

Sep 11 20:09:48 lpr12a kernel: [ 2300.886000] ixgbe 0000:31:00.0 enp49s0f0: NIC Link is Up 10 Gbps, Flow Control: None
Sep 11 20:09:48 lpr12a kernel: [ 2300.991453] ixgbe 0000:31:00.0 enp49s0f0: NIC Link is Down
Sep 11 20:09:49 lpr12a kernel: [ 2301.998531] ixgbe 0000:31:00.0 enp49s0f0: NIC Link is Up 10 Gbps, Flow Control: None

а иногда нет:

Sep 11 20:14:53 lpr12a kernel: [ 2606.242264] ixgbe 0000:31:00.0: registered PHC device on enp49s0f0
Sep 11 20:15:01 lpr12a kernel: [ 2613.857460] ixgbe 0000:31:00.0 enp49s0f0: NIC Link is Up 10 Gbps, Flow Control: None

Само же опускание интерфейса со стороны сервера в dmesg выглядит так:

Sep 11 20:11:13 lpr12a kernel: [ 2386.254159] ixgbe 0000:31:00.0: removed PHC on enp49s0f0

Чтото похожее обсуждалось с год назад помоему. Тогда в драйверах проблема была

Ну я так понимаю, что link должен быть всегда на современном конечном оборудовании (возможно пока загружен драйвер), а вот почему reset nway иногда зарисовывается драйвером в dmesg, а иногда нет, непонятно... Но да может быть косяк в драйвере...

Sep 11 20:09:48 lpr12a kernel: [ 2300.886000] ixgbe 0000:31:00.0 enp49s0f0: NIC Link is Up 10 Gbps, Flow Control: None
Sep 11 20:09:48 lpr12a kernel: [ 2300.991453] ixgbe 0000:31:00.0 enp49s0f0: NIC Link is Down
Sep 11 20:09:49 lpr12a kernel: [ 2301.998531] ixgbe 0000:31:00.0 enp49s0f0: NIC Link is Up 10 Gbps, Flow Control: None

Sep 11 20:14:53 lpr12a kernel: [ 2606.242264] ixgbe 0000:31:00.0: registered PHC device on enp49s0f0
Sep 11 20:15:01 lpr12a kernel: [ 2613.857460] ixgbe 0000:31:00.0 enp49s0f0: NIC Link is Up 10 Gbps, Flow Control: None

Sep 11 20:11:13 lpr12a kernel: [ 2386.254159] ixgbe 0000:31:00.0: removed PHC on enp49s0f0

Скорее всего это связано с опусканием только протокола. Ну который канальный уровень

То что link up не означает что line protocol up

Но без вывода состояния порта с коммутатора - это все хз

ребят кто нибудь работал с рейд контроллерами LSI3008-IT, кнопки raid properties тупо нету в биосе РК

А контроллер разве RAID? По номенклатуре похоже на HBA в режиме IT

hba в режиме it это что ?)