lsmod |grep -i ib

На вычислительной нет, на управляющей есть

пока на управляющей

у тебя модули не загрузились

ib_umad                24576  4
ib_ipoib               77824  0
mlx4_ib               151552  0
ib_iser                49152  0
rdma_cm                49152  1 ib_iser
ib_cm                  45056  2 rdma_cm,ib_ipoib
ib_sa                  36864  4 rdma_cm,ib_cm,mlx4_ib,ib_ipoib
ib_mad                 49152  4 ib_cm,ib_sa,mlx4_ib,ib_umad
ib_core               106496  9 rdma_cm,ib_cm,ib_sa,iw_cm,mlx4_ib,ib_mad,ib_iser,ib_umad,ib_ipoib
ib_addr                16384  2 rdma_cm,ib_core
libiscsi_tcp           24576  1 iscsi_tcp
libiscsi               53248  3 libiscsi_tcp,iscsi_tcp,ib_iser
scsi_transport_iscsi   102400  4 iscsi_tcp,ib_iser,libiscsi
libcrc32c              16384  1 raid456
mlx4_core             286720  2 mlx4_en,mlx4_ib
libahci                32768  1 ahci

это там гд работает верно, а там где нет, нету модульей

кароч там где не работает modprobe ib_umad

подробнее можно

на ноде у которой нету модулей

Ок

ничего не поменялось

ibstat

Также down

модули все появились?

lsmod |grep -i ib

Да

Ну попробуй systemctl restart opensm.service

потом покажи status

короче) ребутни opensm