BCM после Sandy: у клиентов есть бэкапы, но нет плана восстановления бизнеса
Ураган Sandy положил дата-центры Нью-Йорка. Смотрим на DR-планы клиентов - бэкапы есть, но Business Continuity Plan отсутствует почти у всех. Фиксируем пробелы.
Ураган Sandy 29 октября 2012 затопил и обесточил дата-центры в нижнем Манхэттене - Peer 1, Datagram, другие - на несколько суток, обнажив разрыв между наличием бэкапов и реальной готовностью к непрерывности бизнеса
Пока Sandy добивал побережье Нью-Джерси и заливал машинные залы в нижнем Манхэттене, мы разбирали состояние DR-документации у своих клиентов. Момент удобный: катастрофа чужая, дымится далеко, но картинка - та ещё мотивация посмотреть на собственные планы трезво.
Картина, которую мы увидели, оказалась предсказуемой и при этом неприятной.
Бэкапы есть. BCP нет.
Почти у всех клиентов настроено резервное копирование. Уровень разный - у кого-то Veeam с дедупликацией и офсайт-копией, у кого-то скрипт на robocopy и внешний диск в сейфе. Но бэкап есть. С этим всё более-менее.
Business Continuity Plan в том или ином виде есть у единиц. И это не документ с печатью - это вообще хоть какая-то письменная фиксация того, что происходит, если инфраструктура встаёт. Кто звонит первым. Кто принимает решение о переключении. Какой сервис поднимают в первую очередь. Куда сотрудники идут работать, если офис недоступен.
Этого нет. Совсем.
Что конкретно отсутствует
После того как Sandy дал нам хороший повод, мы прошлись по нескольким клиентам и зафиксировали типичные пробелы. Не у каждого все сразу, но набор повторяется:
- Нет приоритизации систем. Что восстанавливать первым - почту, 1С, CRM, сайт? В голове у директора это «всё сразу», на практике такого не бывает. Без явного списка приоритетов первые часы аварии уходят на споры.
- Нет RTO и RPO даже на уровне договорённости. Сколько часов простоя допустимо для конкретной системы? Клиент не знает. Мы не знаем. Это не обсуждалось ни разу. Бэкап настраивали без этих параметров, просто «каждую ночь».
- RunBook отсутствует или устарел. В нескольких местах есть старые инструкции «как восстановить сервер», написанные два года назад для другой конфигурации. Актуальность - под вопросом.
- Контакты и полномочия не зафиксированы. Кто в 3 ночи принимает решение «переключаемся на резервную площадку»? Кто авторизует аварийные расходы? Кто общается с клиентами компании во время простоя? Нигде не написано.
- Коммуникационный план отсутствует. Sandy хорошо показал: когда падает инфраструктура, первая проблема - не восстановление данных, а то, что люди не знают, что происходит и когда закончится. Внутри команды и снаружи - с клиентами.
Почему так вышло
Это не лень и не халатность. Скорее - понятная логика: бэкап осязаем, его можно проверить, он защищает от потери файлов. BCP - это документ про гипотетическую аварию, которой может не быть. Писать его скучно, проверять его ещё скучнее, денег за него никто не платит отдельно.
Плюс у большинства наших клиентов - малый и средний бизнес - нет выделенного человека, который отвечает за это направление. IT-специалист занимается инфраструктурой. Руководитель занимается бизнесом. BCP падает в зазор между ними.
Sandy напомнил, что зазор этот не абстрактный.
Что мы начали делать
Не с позиции «теперь всем срочно нужен BCM», а с позиции нормальной работы. Когда следующий клиент приходит на аудит инфраструктуры, мы добавляем блок по готовности к авариям: не только «есть ли бэкап», но и «есть ли план действий, если бэкап понадобится».
Конкретно: выясняем, какие системы критичны и с каким временем простоя клиент готов смириться. Это занимает час-полтора разговора с руководителем и техническим специалистом вместе - по отдельности получаются разные ответы. Фиксируем расхождение, приходим к согласованным цифрам. После этого смотрим на текущий бэкап и DR: соответствует ли то, что настроено, тому, что договорились.
В большинстве случаев не соответствует. Не потому что бэкап плохой, а потому что он настраивался без параметров RTO/RPO. Это нормально - их просто никто не обсуждал.
Где сейчас
У нас несколько клиентов в процессе такого разговора. Документа с гербовой печатью ни у кого пока нет - и не факт, что нужен именно документ. Нужна ясность: кто, что, в каком порядке, с кем согласовывает.
Sandy остановился. Дата-центры в Манхэттене поднимаются. Но следующий раз - не обязательно ураган. Это может быть пожар в щитовой, залив от соседей или просто контроллер RAID, умерший в пятницу вечером. Бэкап от этого не защищает. От этого защищает план.