Потеряли коммутатор от жары: минимум по охлаждению серверной

Коммутатор умер в пятницу вечером. Не резко, не красиво - просто перестал переключать пакеты, потёк по частям. Сначала один порт, потом второй, потом ушёл весь. Утром в понедельник офис клиента стоял без сети.

Вскрытие показало очевидное: перегрев. Коммутатор стоял в шкафу в отдельной комнате, а кондиционер охлаждал общий офис в соседнем помещении. До комнаты с железом не добивал - там двери, стены, и вообще логика у воздуха своя. В июле в этой комнате накапливалось тепло от самого железа, плюс уличная жара. Несколько недель, и у коммутатора кончилось терпение.

Мы писали про серверные в кладовках ещё в мае, но тогда речь шла про совсем бытовую ситуацию. Тут другое: у клиента есть выделенная комната под железо, есть стойка, есть кондиционер в офисе. На бумаге всё правильно. На практике - не работает, потому что кондиционер и серверная разделены физически.

Какая температура нормальная. Производители сетевого и серверного оборудования обычно пишут рабочий диапазон в районе плюс пяти - сорока градусов. Это максимум при входящем воздухе. Рекомендованная рабочая температура для серверной - плюс восемнадцать - двадцать два. Там, где стоит наш коммутатор, судя по самодельному термометру-логгеру, было под сорок. Формально в допуске, но граничное значение, и при такой температуре срок жизни электроники сокращается ощутимо.

Правило большого пальца: каждые десять градусов сверх нормальной рабочей температуры сокращают ресурс электронных компонентов примерно вдвое. Это не мы придумали, это физика полупроводников. Так что «формально в допуске» и «работает нормально» - вещи разные.

Как замерить температуру в стойке. Термометр на столе в той же комнате - не показатель. Воздух в стойке и воздух в метре от неё могут отличаться на десять градусов, особенно если в стойке плотно набито оборудование. Правильно мерить так:

• Температура на входе - это воздух, который засасывают вентиляторы оборудования. Измеряем перед лицевой стороной стойки, примерно на уровне середины по высоте.
• Температура на выходе - воздух, который выходит из тыла стойки. Там всегда горячее, иногда заметно.
• Температура внутри устройств - большинство управляемых коммутаторов и серверов умеют показывать внутренние датчики через SNMP или прямо в веб-интерфейсе. Это самое информативное, если оборудование поддерживает.

Для стойки без умного оборудования обычный термометр с выносным щупом справляется. Щуп кладём в нижнюю часть стойки перед фронтом, смотрим через полчаса нагрева. Если выше двадцати пяти - уже смотрим, что происходит с охлаждением.

Почему офисный кондиционер не решает задачу. Офисный кондиционер настроен на комфорт людей, а не на серверную. Он охлаждает воздух в зоне, где сидят сотрудники. Серверная в соседней комнате за закрытой дверью - не его зона. Плюс: офисный кондиционер выключают ночью и на выходных, потому что людей нет. Железо при этом продолжает греться, и за ночь температура поднимается до потолка.

Минимально достаточное решение для отдельной серверной - собственный кондиционер, работающий круглосуточно. Не обязательно промышленный прецизионный. Обычный бытовой сплит-система справляется с небольшой серверной, если правильно подобрать мощность под тепловыделение оборудования.

Тепловыделение считается в ваттах: смотрим на паспортные данные каждого устройства, суммируем, добавляем двадцать процентов запаса. Серверная в среднем офисе - это обычно несколько киловатт. Кондиционер на три-пять киловатт холодопроизводительности закрывает большинство таких комнат с разумным запасом.

Что делаем, если отдельного кондиционера нет. Не красиво, но работает: убедиться, что воздух из офисного кондиционера хоть как-то добирается до серверной. Иногда достаточно держать дверь открытой или поставить небольшой напольный вентилятор для перемешивания. Это не решение, но это снижает температуру в критические дни июля-августа.

Ещё один момент, который часто упускают: организация воздушных потоков внутри стойки. Оборудование засасывает воздух спереди и выбрасывает сзади. Если спереди и сзади нет никакого разделения - горячий воздух циркулирует вместе с холодным и температура ползёт вверх независимо от мощности кондиционера. В большой серверной это решают разделением на холодный и горячий коридоры. В небольшой стойке - хотя бы заглушками на незанятые юниты, чтобы воздух шёл через оборудование, а не в обход.

Коммутатор клиент заменил. Кондиционер в серверной поставили - небольшой, но свой. В понедельник утром мы проверили температуру на входе в стойку: двадцать три градуса. Летом работающий кондиционер стоит дешевле нового коммутатора.