Регламент вместо героизма

Конец года - хорошее время признать кое-что вслух: большая часть того, что мы называем «оперативным реагированием», на самом деле является следствием того, что мы не написали нужную бумажку в нужный момент.

Не регламент в понимании отдела кадров - не «Положение о порядке проведения регламентных работ» на сорока страницах с подписями. Речь о другом: о том, чтобы конкретные операции были описаны конкретными словами и лежали там, где их найдут без звонка конкретному Васе.

Откуда берётся героизм

У нас был клиент - небольшой офис, один сервер, всё «под контролем». Контроль выглядел так: если что-то случалось, звонили Сергею. Сергей помнил всё: пароль от роутера, имя пользователя в биллинге провайдера, куда ехать за запасным винчестером, что именно надо перезапустить, если почта зависла. Сергей был незаменим, и этим гордился.

Потом Сергей заболел. Не насовсем, просто сломал ногу и лежал дома. В ту же неделю упал почтовый сервер - что-то с дисковым пространством, банальное. Мы выехали, разобрались, починили. Но убили на это в три раза больше времени, чем если бы была нормальная карточка системы с паролями и описанием типовых проблем. Потому что пришлось сначала выяснить, как вообще устроена система, а потом уже чинить.

Сергей вернулся и по-прежнему был горд: «без меня не справились». Это не повод для гордости. Это диагноз.

Что мы имеем в виду под «регламентом»

Не методология, не ITIL, не сертификаты. Три простых документа, которые мы теперь стараемся иметь по каждому объекту на сопровождении.

Карточка системы. Одна страница: что стоит, как называется, сетевые адреса, пароли (или где их взять), контакты провайдера и поставщиков. Когда едешь на срочный выезд в час ночи - это именно то, что нужно, а не пять минут «сейчас вспомню».

Список типовых инцидентов. Что чаще всего ломается и что делать. Не роман - просто симптом, причина, действие. У одного клиента первые три строки в списке покрывали восемьдесят процентов всех звонков. Написали это один раз, и любой наш человек теперь справляется сам, не дёргая остальных.

Процедура резервного копирования с проверкой. Мы убедились на практике, что бэкап без описанной процедуры восстановления - это полбэкапа. Не пишешь - не знаешь, работает ли. Пишешь - хотя бы можешь проверить по шагам.

Почему это про sla, а не только про удобство

Есть соблазн думать, что всё это - для удобства команды. Отчасти да. Но есть более твёрдый аргумент.

Sla - это обещание. Мы обещаем клиенту что-то про время реакции и время восстановления. Это обещание можно выполнить только если понятно, что именно делать. Если алгоритм действий живёт в голове у одного человека - sla держится на этом человеке, а не на команде. Человек заболеет, уйдёт в отпуск, уволится - и sla падает вместе с ним.

Описанная процедура делает обещание командным, а не личным. Это другой уровень надёжности.

Про антивирус - та же история

Мы писали про антивирусную гигиену: само по себе наличие антивируса ничего не гарантирует, важна регулярная процедура. Там тот же принцип - не разовое действие «поставили и забыли», а описанный и выполняемый регулярно процесс. Разовые настройки протухают. Регулярные процедуры - работают.

Что мешает

Главное возражение, которое мы слышим: «некогда писать, надо работать». Это понятно и по-человечески честно. Но есть обратная арифметика: один раз написать карточку системы - час работы. Один незадокументированный инцидент, когда нужного человека нет рядом, - это легко три-четыре часа потерянного времени плюс нервы. При любом сопровождении дольше полугода документация окупается.

Второе возражение: «у нас всё в голове, мы знаем свои системы». Знаем. Но «мы» - это несколько человек, и у каждого своя часть картины. Когда один уходит на больничный - картина становится с дырой.

Третье - и самое неловкое: некоторые администраторы не хотят писать, потому что незаменимость греет. Это человеческое, но с этим надо разбираться отдельно - обычно через разговор про то, что незаменимость это не карьерный рост, а ловушка.

Итог

Мы не говорим, что всё сделали идеально - у нас самих есть объекты, где документация сильно отстаёт от реальности, и мы это знаем. Конец года - хороший момент посмотреть на список клиентов и честно отметить, где карточка системы последний раз обновлялась больше года назад.

Героизм хорош в кино. В сопровождении инфраструктуры он означает, что кто-то не сделал свою работу вовремя и теперь компенсирует ночью и нервами. Нам такой героизм не нравится.