Size: a a a

SPb Reliability Meetup

2019 December 09

BS

Baron Samedi in SPb Reliability Meetup
у меня был случай, ставлю таск рутам - удалите пользователя на такой-то ноде с кривым именем (джун коммитнул в хиеру с опечаткой).

чувак в чатике уточняет, какого? отвечаю

а он идет и удаляет другого, с home. а там фронтенд портал на 300к rpm 😁

никакой кластер не спасет от сисадмина
источник

BS

Baron Samedi in SPb Reliability Meetup
15 минут очень дорого даунтайма, все в шоке, больше всего тот уважаемый рут 😬
источник

BS

Baron Samedi in SPb Reliability Meetup
сегодня вспоминал кнорозова, этот наш советский чел, который письменность майя расшифровал

Any possible system made by a man can be solved or cracked by a man.
(c)
источник

A

Anatoly in SPb Reliability Meetup
Ага, винт какт по смарту отрубился на серваке с ораклом в удаленном офисе, вызвали аусорсера и он конечно же заменил здоровый из зеркала.
источник

BS

Baron Samedi in SPb Reliability Meetup
Anatoly
Ага, винт какт по смарту отрубился на серваке с ораклом в удаленном офисе, вызвали аусорсера и он конечно же заменил здоровый из зеркала.
о ну это классика же
источник

A

Anatoly in SPb Reliability Meetup
С блоком питания такая же херня была
источник

A

Anatoly in SPb Reliability Meetup
Хули толку что горячая замена, если голова у исполнителя не работает
источник

A

Anatoly in SPb Reliability Meetup
Но самый эпик был, когда с ораклом бодались за лицензии, решили вытащить из части серверов по одному процессору. Написали инструкции с фоточками от г5 до г8, один аутсорсер таки умудрился память переставить к гнезду где процессора небыло и ушел со словами мол сервер запустился - я пошёл. А запустился, он конечно в ило в котором писал, что нет памяти :-D
источник

BS

Baron Samedi in SPb Reliability Meetup
у меня где-то не в россии в дц вылетел диск, там по случайности оказался выездной коллега и смартхэндс не пришлось брать. так вот эти психонавты монетку бросали, не могли понять какой слот дохлый😁

я читал их сообщения и потел
источник

DN

Dmitry Nagovitsin in SPb Reliability Meetup
Vitaliy Levchenko
я одного не понял. На пикабу (и вроде хабре) — что удалили suspended машины. В посте яндекса — что активные.

Как оно реальо было?
были удалены все машины которые были хоть раз в состоянии suspended
источник

DN

Dmitry Nagovitsin in SPb Reliability Meetup
не важно в каком они были состоянии в текущий момент
источник

DN

Dmitry Nagovitsin in SPb Reliability Meetup
что оказалось фатально
источник

A

Anatoly in SPb Reliability Meetup
Baron Samedi
у меня где-то не в россии в дц вылетел диск, там по случайности оказался выездной коллега и смартхэндс не пришлось брать. так вот эти психонавты монетку бросали, не могли понять какой слот дохлый😁

я читал их сообщения и потел
У меня такое было с супермикро, он индикацию диска отображал тем же диодом, что и работу диска встраивая регулярные мигания в нерегулярные от нагрузки. Приходилось ждать пока нагрузка на диск упадёт, чтобы понять какой из них регулярно мигает, а какие просто под нагрузкой. Тож потел, там был пятый рейд и второй диск нужно было не уронить :-D
источник

BS

Baron Samedi in SPb Reliability Meetup
5 райд? вы миллиардеры)
источник

A

Anatoly in SPb Reliability Meetup
Это решение было принято задолго до меня :-(
источник

A

Anatoly in SPb Reliability Meetup
Я потом всё на десятку смигрировал и успокоился, дорого, но спокойно)
источник

BS

Baron Samedi in SPb Reliability Meetup
5 райд это решение из начала 90х
источник

p

pragus in SPb Reliability Meetup
Baron Samedi
5 райд это решение из начала 90х
Почему?
источник

A

Anatoly in SPb Reliability Meetup
pragus
Почему?
Потому что при ребилде обязательно вылетит ещё один диск и всему пизда.
источник

A

Anatoly in SPb Reliability Meetup
Извинити
источник