Первая 19-дюймовая стойка: три сервера, KVM и горячий воздух не туда

Клиент вырос до трёх серверов. До этого момента они стояли в виде башен на полу в углу, соединённые тремя отдельными мониторами, тремя клавиатурами и тремя мышами. Выглядело как рабочий стол программиста, которому дали немного лишнего места. В какой-то момент стало очевидно: надо собирать нормальную стойку.

Стойку взяли открытую, 19 дюймов, 22U - вполне достаточно для трёх серверов, KVM-свича, патч-панели и пары юнитов про запас. Серверы - rack-mount, 1U каждый, уже куплены. KVM-переключатель на 8 портов, один монитор, одна клавиатура, одна мышь. Идея простая: одно рабочее место администратора управляет всем. Звучит солидно.

Как мы это собирали

Расположили оборудование по привычной логике: патч-панель наверху, серверы ниже, KVM между ними, блок розеток в самом низу. Кабели от KVM к серверам - специальные косы, по одной на каждый сервер: VGA плюс PS/2 для клавиатуры и мыши в одном жгуте. Всё это примотали стяжками, провели по боковине стойки, подписали.

Выглядело аккуратно. Запустили - заработало с первого раза. Переключение между серверами кнопкой на KVM-свиче, иногда горячими клавишами. Один монитор вместо трёх - вот это ощущение порядка.

Радовались мы часа полтора.

Горячий воздух пошёл не туда

Первое, что заметили - температура в помещении. Комната небольшая, стойка открытая, серверы греются заметно. Это ожидаемо. Неожиданным оказалось другое: верхний сервер стал теплее нижних, хотя интуитивно должно быть наоборот - горячий воздух поднимается вверх, уходит, холодный приходит снизу. Всё правильно?

Правильно, если серверы расположены так, что воздух у них проходит спереди назад, и ничего этот поток не перекрывает. У нас оказалось по-другому. Нижний сервер гнал горячий воздух назад и вверх - прямо в забор воздуха среднего сервера. Средний отдавал тепло в забор верхнего. Получилась маленькая тепловая цепочка, которую мы сами же и устроили.

Плюс кабели. Мы аккуратно провели их по боковине - и часть кабельных жгутов от KVM легла поперёк передней части стоек, немного перекрывая фронтальное охлаждение. Немного - но в закрытом помещении и немного имеет значение.

Что поменяли. Переставили серверы: самый горячий - наверх, остальные ниже. Кабели перепроложили так, чтобы они шли строго по бокам, не заходя на переднюю панель серверов. Между серверами поставили одну заглушку - она закрывает щель в стойке и не даёт воздуху гулять там, где не надо. После этого температуры выровнялись.

KVM оказался с характером

Бюджетный KVM-свич - вещь в принципе рабочая, но с нюансами. Переключение между серверами через горячие клавиши работало не всегда: иногда Windows 2000 не успевала переинициализировать клавиатуру при переключении и переставала её видеть. Помогал реконнект - дёрнуть кабель KVM и обратно. Лечится не всегда. Мы нашли, что если переключаться через кнопку на самом свиче - стабильнее. Через горячие клавиши - лотерея.

Ещё KVM-свич не умеет перехватывать Ctrl+Alt+Del нормально: нажатие уходило на активный сервер, а не на все сразу. Для перезагрузки или входа в систему на конкретной машине это нормально, но поначалу путало.

VGA по длинным косам до трёх метров держал картинку без нареканий. Выше трёх - начинало мылить, особенно при разрешении 1024x768. У нас косы были в пределах двух метров, проблем не было.

Что занесли в практику

Первое - планировать воздушный поток до того, как закрутил первый винт. Смотреть, где у сервера забор воздуха и куда идёт выхлоп, и располагать оборудование так, чтобы горячий выхлоп одного не шёл в забор следующего.

Второе - заглушки не декоративные. Пустые юниты в стойке - это не «ещё не заполнили», это дыры, через которые горячий воздух рециркулирует вместо того чтобы уходить. Закрывать надо сразу.

Третье - кабели не должны перекрывать вентиляцию. Даже частично. Даже «самую малость». Стойка - не башенный ПК, здесь плотнее и горячее.

Четвёртое - бюджетный KVM работает, но не всегда предсказуемо. Для одного администратора, который знает его повадки - нормально. Для нескольких человек или критичного доступа - стоит брать что-то получше.

Конфигурация DNS и DHCP, которую мы настраивали раньше, по итогу этого переезда не пострадала - серверные роли оказались у нас на отдельных машинах, и физическая перестановка внутри стойки на сетевую часть не повлияла. Это, пожалуй, единственное, что с первого раза получилось без ошибок.

Стойка стоит, работает, греется умеренно. До кондиционера в серверной дело не дошло - пока обходимся форточкой и здравым смыслом при расстановке железа.