Size: a a a

Storage Discussions

2020 November 11

SU

Sergey Usov in Storage Discussions
P P
А какая-то периодичность тормозов есть? И счётчики в это время что-то говорят, или эти тормоза невидимы для внутренней аналитики производительности?
Никакой явной периодичности.
Счетчики выше сам можешь посмотреть. А сейчас идёт бэкап, который уже полсуток как должен бы закончиться, средняя скорость - 22 МБ/с
источник

SU

Sergey Usov in Storage Discussions
Zek
вин2019?
да
источник

SU

Sergey Usov in Storage Discussions
nikolay a
сильно тормозить - это до 1 ms на гибридной конфигурации?))
Это когда в терминале курсор едва ползает
источник

na

nikolay a in Storage Discussions
Sergey Usov
Это когда в терминале курсор едва ползает
нормальное определение))
источник

SU

Sergey Usov in Storage Discussions
nikolay a
нормальное определение))
даблин, постоянно какая-то хрень, которой даже внятного определения не подобрать
источник

Z

Zek in Storage Discussions
тогда что-то не так делаете. После перевода из режима обслуживания замещаются только измененные блоки
источник

PP

P P in Storage Discussions
Sergey Usov
Это когда в терминале курсор едва ползает
Я правильно понимаю, что это у вас что-то вроде HCI сделано?
источник

na

nikolay a in Storage Discussions
Sergey Usov
даблин, постоянно какая-то хрень, которой даже внятного определения не подобрать
ползание курсора в терминале вы связываете с проблемами на уровне s2d?
источник

Ɐα

Ɐrtem αrtem in Storage Discussions
Sergey Usov
13 узлов по 4 ssd  INTEL SSDSC2BA40 и 19 SEAGATE ST900MM0006
сеть на мелланоксах 40G

Проблема в том, что оно живёт своей жизнью. Может совершенно внезапно всё немножко сильно тормозить, причём по объективным данным этого не видно, как сейчас, например. Совершенно невозможно обслуживать узлы, любая перезагрузка - перепроверка всего массива.
мелланокс infiniband?
источник

SU

Sergey Usov in Storage Discussions
Zek
тогда что-то не так делаете. После перевода из режима обслуживания замещаются только измененные блоки
Скорее всего, действительно что-то не так сделано. Вопрос, что именно
источник

Z

Zek in Storage Discussions
ну и еще важно кло-во нод и тип разделов
источник

Z

Zek in Storage Discussions
тормоза могут быть по совершенно разным причинам и глюкам, но это все надо диагностировать и локализовывать
источник

Z

Zek in Storage Discussions
у меня например RDMA отваливался сам по себе после ребутов
источник

SU

Sergey Usov in Storage Discussions
Ɐrtem αrtem
мелланокс infiniband?
нет, ethernet
источник

IM

Igor Minkovskiy in Storage Discussions
у коллег с vSAN жопа была похожая из-за проблемных дисков, но там latency честно в космос начинала улетать, это было видно. А тут некоторые AFA позавидуют :)
источник

Ɐα

Ɐrtem αrtem in Storage Discussions
Sergey Usov
нет, ethernet
отдельно от клиентской сети?
источник

Z

Zek in Storage Discussions
Ну да, в первую очередь убедитесь в исправности и конфигурации сети. Проблемы доступности вполне могут себе резать производительность в сотни тысяч раз
источник

PP

P P in Storage Discussions
Igor Minkovskiy
у коллег с vSAN жопа была похожая из-за проблемных дисков, но там latency честно в космос начинала улетать, это было видно. А тут некоторые AFA позавидуют :)
кстати, дааа, столкнулся несколько месяцев назад с супер-кейсом, когда vsan молча начинал тормозить дичайшим образом. И при этом - молчал, как Мальчиш Кибальчиш на допросе, в логах - тишина полная. В итоге, оказалось, что сбойнул один ssd, который использовали, как кеш, причём, сбойнул таким хитрым образом, что сам сервер его не определял, как сбойный. То есть, контроллер не понимал, что ему кранты и помечал его зелёным. Вынимаешь диск - всё начинает работать (ну, с оговоркой, что уже появляется ругань на тему “хде мой кэш, мерзавцы?!”). Вставляешь - висит вообще всё, в консоль зайти невозможно. В общем, когда проблему локализовали, обратились в саппорт, что бы диск поменяли. Те говорят - высылайте логи. Ок, выслали. Оттуда ответ - ну, в логах всё ок, менять не надо, проблема не в железе. Вот так вот
источник

IM

Igor Minkovskiy in Storage Discussions
P P
кстати, дааа, столкнулся несколько месяцев назад с супер-кейсом, когда vsan молча начинал тормозить дичайшим образом. И при этом - молчал, как Мальчиш Кибальчиш на допросе, в логах - тишина полная. В итоге, оказалось, что сбойнул один ssd, который использовали, как кеш, причём, сбойнул таким хитрым образом, что сам сервер его не определял, как сбойный. То есть, контроллер не понимал, что ему кранты и помечал его зелёным. Вынимаешь диск - всё начинает работать (ну, с оговоркой, что уже появляется ругань на тему “хде мой кэш, мерзавцы?!”). Вставляешь - висит вообще всё, в консоль зайти невозможно. В общем, когда проблему локализовали, обратились в саппорт, что бы диск поменяли. Те говорят - высылайте логи. Ок, выслали. Оттуда ответ - ну, в логах всё ок, менять не надо, проблема не в железе. Вот так вот
Муахахаха. А в том кейсе VMware была куплена через HPE и соскочить они не cмогли, правда кейс решали 3 месяца, заменили пол сервера по деталям и несколько магнитных дисков из capacity. А в чатике VMware мне говорили, что зря заказчик купил поддержку в HPE, надо было брать прямую.
источник

SU

Sergey Usov in Storage Discussions
Ɐrtem αrtem
отдельно от клиентской сети?
Отдельно, физически
источник