спс, я еще в оф группу скинул

Следуя заветам Эрика Олдмена

Разговор девопсов (D) с бизнесом (B):

D: Нам так же нужно будет уже начать планировать тесты отказа - продумать все возможные кейсы.

B: Всё просто. Я в случайное время захожу на любой из наших серверов по ssh и делаю что-то типа rm -rf / или что-то в этом духе. Стрелять процессы и останавливать тихо службы я тоже умею.

D: Пока точно нет))) но вообще так это - ок. Нужно готовить и проверять все провиженинги. + у нас пока еще нет контроля над работой некоторых сервисов - завтра напишу план по организации устойчивости системы - и там спланируем уже сроки

Я при сдаче критикал прода целиком питание в ЦОД рубил

Вот прямо рубильником

Господа знают толк в извращениях? :)

Гуглить по Chaos Engineering

Заскриптовали ДЮ :(

Интересно с лайками-дизлайками в моих постах. Персоналий, кто лайкает и дизлайкает я не вижу, но обычно учавствует примерно 10-15% всей аудитории. И на любой даже 100% чёткий пост приходит кто-то и ставит один дизлайк :)

Интересная у кого-то принципиальная позиция.

Что характерно, последний пост дизлайкают больше обычного, хотя идея "учений" известна уже давно и сама по себе является бесспорной.

Яндекс переодически делает «учения». Про chaos engineering уже сказали. А вообще. if you are going to fail then fail fast

И вообще, learn from failure (c) Google SRE :) ну и полезно почитать про google dirt team

Говорит, что делает. И вроде как было один раз всего. Впрочем, я могу ошибаться

Как это один раз, если у них вроде как каждую неделю отключения дц

Про раз в неделю не слышал

Источник?

Слушай, ну если систему ни разу не выключали, то и проверить все механизмы резервирования и отказоустойчивость нельзя. Я уже много раз наблюдал, как все по идее должно работать на ура, но из-за глобального распиздяйства со стороны обычных людей («и так сойдёт»), все перестаёт работать.

Сотрудники яндекса

Имя вот так сразу не скажу, потому что не очень уверен что я правильно запомнил