Паспортизация серверной: от «шкафа в углу» к документированному помещению

Есть такое явление, которое мы называем «серверная, выросшая сама по себе». Берётся шкаф в углу офиса, в него ставится первый сервер, потом второй, потом третий. Кабели тянутся как удобно - то есть как попало. ИБП докупается, когда старый перестаёт справляться, и ставится рядом со старым, потому что выбрасывать жалко. Документация существует в голове у человека, который всё это строил. Если он уволился - удачи.

На прошлой неделе мы приехали к клиенту делать аудит инфраструктуры. Серверная - комната три на четыре метра, две стойки, куча оборудования. Чего мы там не ожидали - так это четырёх ИБП одновременно.

Четыре ИБП, и ни одного понятного

ИБП были разных поколений и производителей. Один - здоровый напольный, лет шести от роду, частично вышел из строя. Второй - поменьше, стоит на полу рядом с первым, куплен чтобы заменить первый, но первый так и не выключили. Третий - рэковый, висит в стойке на третьем юните, питает половину оборудования в первой стойке. Четвёртый - маленький офисный, поставлен под сетевое оборудование, потому что однажды что-то упало при броске напряжения.

Какой из ИБП питает какое оборудование - не знал никто. Схемы питания не существовало в природе. На вопрос «а куда идёт вот этот кабель» местный сисадмин честно ответил: «надо смотреть».

Кабели. Кабели были везде. Витая пара в трёх цветах без маркировки. Силовые кабели, переплетённые с сигнальными. Патч-корды, уложенные поверх силовых, что является практикой не очень хорошей с точки зрения помех. Несколько кабелей явно лишних - куда они шли, неизвестно, видимо к оборудованию, которое давно списали.

Нам потребовался час только чтобы понять, что включено в сеть, а что нет.

Что сделали за неделю

Первый день - инвентаризация. Записали каждую единицу оборудования в стойках: что за устройство, серийный номер, юнит в стойке. Прошлись по кабелям с тестером и промаркировали оба конца каждого кабеля. Лишние кабели выдернули. Их оказалось немало.

Отдельно занялись ИБП. Прозвонили, что куда подключено. Выяснилось, что первый напольный ИБП питает только себя - он давно отключён от нагрузки, потому что не держит заряд, но стоит и моргает. Второй напольный питает файловый сервер и контроллер домена. Рэковый - серверы приложений и СХД. Офисный - коммутаторы и маршрутизатор.

Нарисовали схему питания. Обычный Visio, ничего хитрого: прямоугольники оборудования, линии от каждого к ИБП, рядом с ИБП - мощность и текущая нагрузка в процентах. Распечатали и повесили на стену серверной. Всё.

Потом занялись кабельным хозяйством. Переложили витую пару в кабельные каналы, отдельно от силовых. Патч-корды в стойках уложили и стянули стяжками - не туго, просто аккуратно. На каждом патч-корде с обоих концов - маркер с буквенно-цифровым кодом, который соответствует позиции в патч-панели и порту оборудования. Это полчаса работы, которые потом экономят часы.

Что изменилось немедленно

Через три недели после того, как мы закончили, в серверной упал один из серверов. Не совсем упал - завис намертво, не отвечал на пинг. Местный сисадмин подошёл к стойке, посмотрел на схему, нашёл, к какому ИБП подключён этот сервер, посмотрел на ИБП - на нём горел красный индикатор перегрузки. Всё. Диагноз поставлен. Разгрузили, перераспределили нагрузку, сервер поднялся.

По словам сисадмина, до паспортизации такая же ситуация заняла бы полдня - он бы искал, что с чем связано, пробовал перезагружать, звонил бы нам.

Это не магия. Это просто документация.

Почему так бывает

Серверная растёт органически, потому что никто не выделяет время на её документирование - это «не срочно». Срочным оно становится в момент аварии, когда документировать уже некогда, и все заняты тушением пожара. Потом аврал заканчивается, документацию решают сделать потом, и круг замыкается.

Ещё один фактор: в маленьких компаниях серверная - часто зоны ответственности одного человека, и пока он есть, всё как-то работает. Инвентаризация железа - это тоже про это: пока один человек всё помнит, система кажется управляемой. Потом он берёт отпуск.

Мы сейчас включаем паспортизацию серверной в стандартную программу первичного аудита для новых клиентов. Не потому что это красиво, а потому что без этого нельзя нормально мониторить инфраструктуру и быстро устранять неисправности. Если мы не понимаем, что к чему подключено, диагностика превращается в угадайку.

Тот первый напольный ИБП, кстати, сдали в утиль. Давно пора было.