Бэкап есть.
Осталось его найти.

Я изучаю долбоёбов в их среде обитания. В IT иногда приходится полчаса слушать про отказоустойчивость, прежде чем выясняется, что всё держится на человеке, который сегодня не выспался.

Инженер чинил копирование базы на резервный сервер. Было поздно, но проблему хотелось добить перед сном. Домой ты ещё не ушёл, а голова уже сняла ботинки.

Нужно было очистить каталог на резервном сервере. Инженер очистил его на основном. Ошибку заметил через секунду-другую, но почти триста гигабайт уже исчезли. Особенно неприятно, когда именно в этот момент компьютер демонстрирует обещанную производительность.

Дальше команда познакомилась со своей системой резервного копирования поближе.

Штатные копии не создавались из-за несовместимости версий программы и базы. Уведомления об ошибках отправлялись, но почтовый сервер их отклонял. Получилась законченная конструкция: один механизм не сохранял данные, другой не позволял об этом переживать.

Облачные снимки дисков на серверах базы тоже не включили: считалось, что остальных способов достаточно. Ответственного за регулярную проверку восстановления не назначили.

На месте бэкапа обнаружилось коллективное спокойствие. Оно занимало мало места и прекрасно масштабировалось.

Спасла копия, которую за несколько часов до аварии вручную сделал тот же инженер — для другой задачи. Один человек обеспечил компании и катастрофу, и выход из неё. Очень эффективное совмещение должностей.

Сервис возвращали к работе около восемнадцати часов. Часть свежих изменений в базе потеряли; репозитории с кодом сохранились.

Назначить единственным долбоёбом человека, который перепутал серверы, было бы слишком удобно. Он хотя бы заметил свою ошибку. Вокруг неё уже стояла инфраструктура, чьи ошибки никому не мешали, пока от неё ничего не требовалось.

Меня здесь интересует выражение «у нас всё настроено». Оно позволяет годами пользоваться чувством безопасности, не связываясь с самой безопасностью.

Проверять восстановление скучно. Гораздо увлекательнее впервые проделать это ночью, когда от результата зависит, существует ли ещё твоя компания.

Зато с посещаемостью такой проверки проблем обычно нет.