Size: a a a

Storage Discussions

2020 November 03

A

Arthur in Storage Discussions
источник

AV

Alexey Vasilyev in Storage Discussions
Vadim Misbakh-Soloviov
Столкнулся со странной магией:

Дано:
две Mellanox'овые карточки (mlx4), которые умеют 40 и 56 гбит.
один "тупой" (не управляемый) QLOGIC-свитч, умеющий 40.
Два пятиметровых FDR-кабеля.
Ранее вместо пятиметровых были метровые (тоже FDR).

Суть ситуации:
тестировал неделю назад на метровых кабелях - линк со свитчом поднимался у обеих карточек
тестировал тогде же "кольцо" в свитче (т.е. кабель обоими концами) - тоже прекрасно работало.

Сегодня тестирую пятиметровые кабели, и если провода воткнуты в свитч, то ibnodes срёт ошибками про недоступность порта.
А если между карточками напрямую, то вполне себе прекрасно поднимается линк на 56Г.
Считч провода тоже видит, если кольцом воткнуть.

А вот если карточка<->свитч - линк не поднимается...

Не подскажете, в чём может быть дело?...
А провод какой точно?
источник

VM

Vadim Misbakh-Solovi... in Storage Discussions
Alexey Vasilyev
А провод какой точно?
источник

Δ

ΔΩ in Storage Discussions
С кулоджиком не работал, хз)
источник

AV

Alexey Vasilyev in Storage Discussions
На метр тоже мелланокс?
источник

Ɐα

Ɐrtem αrtem in Storage Discussions
про drp и row очень интересно
источник

VK

Victor Konovalov in Storage Discussions
Ɐrtem αrtem
про drp и row очень интересно
А в чём интерес?
источник

Ɐα

Ɐrtem αrtem in Storage Discussions
ну, если и правда запилили row, то это будет большим плюсом при работе со снепшотами
источник

Ɐα

Ɐrtem αrtem in Storage Discussions
огромным плюсом, я бы сказал
источник

Δ

ΔΩ in Storage Discussions
Vadim Misbakh-Soloviov
Столкнулся со странной магией:

Дано:
две Mellanox'овые карточки (mlx4), которые умеют 40 и 56 гбит.
один "тупой" (не управляемый) QLOGIC-свитч, умеющий 40.
Два пятиметровых FDR-кабеля.
Ранее вместо пятиметровых были метровые (тоже FDR).

Суть ситуации:
тестировал неделю назад на метровых кабелях - линк со свитчом поднимался у обеих карточек
тестировал тогде же "кольцо" в свитче (т.е. кабель обоими концами) - тоже прекрасно работало.

Сегодня тестирую пятиметровые кабели, и если провода воткнуты в свитч, то ibnodes срёт ошибками про недоступность порта.
А если между карточками напрямую, то вполне себе прекрасно поднимается линк на 56Г.
Считч провода тоже видит, если кольцом воткнуть.

А вот если карточка<->свитч - линк не поднимается...

Не подскажете, в чём может быть дело?...
Была какая то проблема со временем поднятия линка на кулоджике если в mlx4 никах стоял режим инициализации Mellanox, а не IBTA. Оставь на пару часов если поднимется это оно. Варианта как решить два - прошить на последний фирмвер кулоджик или изменить режим инициализации портов на карточках в IBTA. А может и то и другое придется сделать
источник

VM

Vadim Misbakh-Solovi... in Storage Discussions
Alexey Vasilyev
На метр тоже мелланокс?
Да (только сейчас их нет под рукой) // и тоже FDR
источник

VM

Vadim Misbakh-Solovi... in Storage Discussions
ΔΩ
Была какая то проблема со временем поднятия линка на кулоджике если в mlx4 никах стоял режим инициализации Mellanox, а не IBTA. Оставь на пару часов если поднимется это оно. Варианта как решить два - прошить на последний фирмвер кулоджик или изменить режим инициализации портов на карточках в IBTA. А может и то и другое придется сделать
Интересно, как же прошить неуправляемый свитч, который не хочет инициализировать линк ;)
источник

Δ

ΔΩ in Storage Discussions
Vadim Misbakh-Soloviov
Интересно, как же прошить неуправляемый свитч, который не хочет инициализировать линк ;)
ну для начала модель сказать? )
источник

VM

Vadim Misbakh-Solovi... in Storage Discussions
Ну, пока жду, в общем, появится или нет...
источник

VM

Vadim Misbakh-Solovi... in Storage Discussions
ΔΩ
ну для начала модель сказать? )
12200-18
источник

MO

Mr Orange in Storage Discussions
IBM part number
QLogic 12200 36-port Redundant Power QDR IB Switch Bundle
0449-028 ?
источник

VM

Vadim Misbakh-Solovi... in Storage Discussions
Mr Orange
IBM part number
QLogic 12200 36-port Redundant Power QDR IB Switch Bundle
0449-028 ?
18 портовый
И так с ходу пойди пойми что у него из набора цифр - партнамбер.
Сейчас сфотографирую весь "низ"...
источник

VM

Vadim Misbakh-Solovi... in Storage Discussions
источник

VM

Vadim Misbakh-Solovi... in Storage Discussions
Что-то не получается нормально развернуть 😒
источник

MO

Mr Orange in Storage Discussions
QLOGIC 12200-18-28 18-port Qdr Infiniband Network Switch.
источник