Итоги 2005: год, когда следить за инфраструктурой стало отдельной работой

Декабрь - время подводить итоги. Не в смысле торжественных отчётов, а просто посмотреть: что изменилось в работе за год, что прижилось, что оказалось пустой тратой времени.

2005-й получился насыщенным. Не потому что рынок рос или клиентов прибавилось - а потому что сам подход к инфраструктуре сдвинулся. Раньше «администрировать инфраструктуру» означало примерно следующее: что-то сломалось - починили, планово обслужили серверную раз в квартал, поставили по запросу новый сервер. Реактивная работа, в основном. К концу 2005-го мы делаем что-то другое.

Виртуализация - из эксперимента в рутину

В январе мы запустили первую боевую виртуалку на VMware ESX и тогда ещё относились к этому как к пилоту. К сентябрю виртуализация стала стандартным инструментом для новых серверов. Любой новый сервис - сначала вопрос «почему не виртуалка?», а не наоборот.

Сентябрьская консолидация у одного из клиентов - хороший пример того, что изменилось. Шесть физических серверов в два, пять виртуальных машин на продакшн-хосте. Серверная стала тише и холоднее, обслуживать проще. Это не разовый проект - это теперь рабочая схема для клиентов, у которых серверный парк разросся органически и превратился в зоопарк.

Главное что вынесли по итогу года: виртуализация меняет не только количество железа, она меняет цикл жизни сервисов. Поднять тестовую среду - вопрос минут. Клонировать боевой сервер для проверки обновления - тоже. Откатить неудачное изменение - есть снапшот. Это не про экономию на железе, это про то что работать стало безопаснее.

Мониторинг - главное изменение года

Если честно, это важнее виртуализации. Не в смысле технологии - в смысле изменения в голове.

Мы поставили Nagios в феврале и с тех пор не представляем как работали без него. Три дня после запуска - первый реальный сбой пойман ночью, до того как пользователи что-то заметили. Утечка памяти в PostgreSQL, которая копилась неделями. Без алертов узнали бы утром по звонку «база лежит».

За год набралось несколько таких эпизодов - не катастрофических, но значимых. Диск заполнился до 87% на файловом сервере - поймали заблаговременно, расчистили спокойно. Сервис упал ночью по неизвестной причине - Nagios уведомил, дежурный перезапустил через 20 минут, пользователи не знали что было. VPN-туннель между офисами моргал раз в неделю - по логам алертов нашли паттерн, оказался баг в прошивке роутера.

Ни один из этих случаев не дошёл до пользователей как «у нас всё упало». Это и есть результат.

Что поменялось в самом подходе. Мы перестали мониторить «для красоты». Раньше были графики трафика и нагрузки, которые никто не смотрел - висели на внутреннем сервере, создавали видимость контроля. Теперь мониторинг работает в обратную сторону: не мы смотрим на инфраструктуру, а она сама нас зовёт когда что-то не так.

Порог этого сдвига - алертинг. Пока не было оповещений, всё остальное было просто логированием.

Что ещё закрыли в 2005-м

Год вышел плотным по охвату тем. Перечислим без лишних слов что реально внедрили и использовали:

• Центральные логи безопасности - syslog с единой точкой сбора, событий стало видно поперёк всех серверов, а не только на каждом отдельно.
• 802.1x на Wi-Fi - доступ в беспроводную сеть через RADIUS, без пароля в воздухе. Раньше один пароль знали все и никто не знал кто подключён.
• Резервное копирование по-взрослому - D2D с инкрементами и дедупликацией вместо полных бэкапов на ленту каждую ночь. Окно бэкапа сократилось, объём хранения - тоже.
• Контроль запуска программ - Software Restriction Policy, которая не позволяет пользователям запустить что попало. Тихо работает, не мешает и закрывает целый класс угроз.
• Инвентаризация через OCS Inventory - наконец знаем что стоит у каждого клиента, не по памяти и не по таблице Excel трёхлетней давности.
• SSH-ключи вместо паролей на серверах Linux - практически везде, где управляем.

Ни одна из этих вещей не была сложной технически. Но каждая требовала решения «а вообще надо?» и времени на внедрение. В сумме они дают инфраструктуру, которой можно управлять, а не только реагировать на неё.

Что не получилось или не доделали

Честность в итогах - включает и это.

DR-план писали в августе, но он лежит непроверенным. Написать и проверить - разные вещи. В следующем году надо организовать учебное восстановление хотя бы у одного клиента.

Пасспортизацию серверной закрыли на бумаге, но обновлять её регулярно - отдельная дисциплина, которой пока нет.

База знаний - завели в октябре, заполнили первую дюжину статей и немного притормозили. Это не инструмент, а привычка, а привычки формируются дольше.

Главное наблюдение года

«Следить за инфраструктурой» в 2005-м стало отдельной специализацией, а не подработкой между делом. Раньше это было частью фона: сделал задачу, по пути посмотрел что серверы живые, пошёл дальше. Сейчас это работа с конкретными инструментами, метриками, алертами, процедурами.

Переход не мгновенный. Мы сами его проходим и помогаем клиентам его пройти. Но разница между «инфраструктура которую обслуживают» и «инфраструктура которой управляют» - вполне реальная и ощутимая в спокойных декабрьских дежурствах без ночных звонков.