Size: a a a

2019 December 23

PZ

Philipp Zykov in VMware vSAN
Вообщем, я как-то писал про VSAN, на котором были использованы Micron ssd по 3.6Тб.
Его разметало из-за выхода 3-х хостов, почти одновременно.
В выходные его разобрали, окончательно и начали тестировать ssd. И вскрылась окончательная причина трагедии - часть дисков вылетала при самотестировании с CRC-ошибками. Если этот диск приходился на cache tier, то хана была всей дисковой группе. А так как каждый хост имел 1 дисковую группу, то вылет 3-х хостов при RAID5 был предопределен. Вообщем, вылет произошел по сумме ошибок.
источник

a

a in VMware vSAN
Philipp Zykov
Вообщем, я как-то писал про VSAN, на котором были использованы Micron ssd по 3.6Тб.
Его разметало из-за выхода 3-х хостов, почти одновременно.
В выходные его разобрали, окончательно и начали тестировать ssd. И вскрылась окончательная причина трагедии - часть дисков вылетала при самотестировании с CRC-ошибками. Если этот диск приходился на cache tier, то хана была всей дисковой группе. А так как каждый хост имел 1 дисковую группу, то вылет 3-х хостов при RAID5 был предопределен. Вообщем, вылет произошел по сумме ошибок.
а прошивки дисков в HCL?
источник

PZ

Philipp Zykov in VMware vSAN
Да. И диски и прошивки
источник

PZ

Philipp Zykov in VMware vSAN
источник

a

a in VMware vSAN
бажная партия?
источник

PZ

Philipp Zykov in VMware vSAN
Похоже
источник

PZ

Philipp Zykov in VMware vSAN
Вообщем, качество железа также важно, как и правильная архитектура
источник

a

a in VMware vSAN
ну это для любого продукта верно 🙂
источник

KS

Konstantin Statsenko in VMware vSAN
Philipp Zykov
Вообщем, я как-то писал про VSAN, на котором были использованы Micron ssd по 3.6Тб.
Его разметало из-за выхода 3-х хостов, почти одновременно.
В выходные его разобрали, окончательно и начали тестировать ssd. И вскрылась окончательная причина трагедии - часть дисков вылетала при самотестировании с CRC-ошибками. Если этот диск приходился на cache tier, то хана была всей дисковой группе. А так как каждый хост имел 1 дисковую группу, то вылет 3-х хостов при RAID5 был предопределен. Вообщем, вылет произошел по сумме ошибок.
А как тестирование проводили ?
источник

PZ

Philipp Zykov in VMware vSAN
У micron есть утилита mse
источник

PZ

Philipp Zykov in VMware vSAN
Вынимали диски, ставили на обычный комп с sata и вперед!
42 диска проверили
источник

PZ

Philipp Zykov in VMware vSAN
С 10 не проходили тест без Sanitize
источник

PZ

Philipp Zykov in VMware vSAN
источник

PZ

Philipp Zykov in VMware vSAN
Это пример. У многих все было много хуже по 198. И именно эти диски, если они попадали на cache tier валили дисковую группу с compression and deduplication. Причем, без Sanitize смарт тестирование не работало, ну а после Sanitize - диск чистый и готовый к форматированию.
источник

GP

Grigory Pryalukhin in VMware vSAN
обращались в micron?
источник

na

nikolay a in VMware vSAN
может перегревались регулярно?
источник

KS

Konstantin Statsenko in VMware vSAN
у intel прям в гарантии это прописано ) не знаю как у других вендоров.
источник

KS

Konstantin Statsenko in VMware vSAN
источник

KS

Konstantin Statsenko in VMware vSAN
интересно, если перегрелись можно как то логи почистить потом ? )))
источник

na

nikolay a in VMware vSAN
Konstantin Statsenko
интересно, если перегрелись можно как то логи почистить потом ? )))
у контроллера диска может быть свой внутренний счетчик событий по перегреву, который не отображается через smart. все от производителя зависит
источник