Энергоэффективность серверной: считаем PUE и ищем, что можно убрать со стеллажей

В конце прошлого года добавили клиенту второй стеллаж - место закончилось, рост парка никто не отменял. После монтажа оборудования электрик заменил вводной автомат и попутно повесил на вводе счётчик с выходом данных. Мы подключили его к мониторингу просто из интереса. Интерес оправдался: цифры получились неприятные.

Что такое PUE и почему он вдруг стал темой

В конце 2007 года организация The Green Grid опубликовала метрику PUE - Power Usage Effectiveness. Формула простая: делишь общее потребление серверной на потребление самого IT-оборудования. Идеальный PUE = 1,0 - это означает, что всё электричество идёт в серверы, ничего не тратится впустую. В реальности так не бывает: кондиционеры, свет, ИБП, сетевое оборудование вне стоек всё это добавляет сверху.

В нашем случае замеры показали PUE около 2,1. То есть на каждый ватт, потреблённый серверами, серверная тратит ещё один ватт сверху - на охлаждение, ИБП с их КПД, всё прочее. Это не катастрофа, но и повода для гордости нет.

Откуда берётся «лишнее» потребление

Разобрали по составляющим:

• Охлаждение. Два кондиционера, один из которых работает постоянно, второй включается при нагреве. После второго стеллажа тепловыделение выросло, и второй кондиционер теперь включается заметно чаще. Кондиционеры - самая жирная статья.
• ИБП. Устройства нагружены примерно на 40-50% от номинала. КПД ИБП на такой нагрузке - около 85-88%. Остаток уходит в тепло. Два ИБП суммарно дают ощутимую потерю.
• Старые серверы. Несколько машин в стойке - это железо 2003-2004 годов. Процессоры без поддержки энергосберегающих режимов, потребление под нагрузкой и в простое почти одинаковое. Один такой сервер греет воздух на холостом ходу как полноценный обогреватель.

Тепловыделение - то, что не видно в счёте

Есть простая физика: 1 ватт электрической мощности = 1 ватт тепла. Если стойка потребляет 5 кВт - в воздух серверной уходит 5 кВт тепла, которые надо отвести кондиционером. Кондиционер для этого тратит ещё энергию. После второго стеллажа суммарное тепловыделение выросло так, что штатного охлаждения стало впритык - особенно летом, когда уличная температура давит снаружи.

Это и объясняет, почему PUE после расширения ухудшился: мы добавили оборудование, нагрузка на охлаждение выросла непропорционально.

Что можно консолидировать

Мы посмотрели на парк с точки зрения «кандидаты на виртуализацию» - благо VMware ESX уже стоит у этого клиента, и Hyper-V мы смотрели в январе.

Картина получилась такая. В стойках живут несколько серверов с загрузкой CPU 5-15% в среднем - внутренние сервисы, которые выросли из задачи «дать им отдельное железо» несколько лет назад. DNS, файловый сервер для одного отдела, пара тестовых стендов, которые давно стали постоянными. Каждый из них - физический сервер с питанием, охлаждением, вентиляторами.

Теоретически три-четыре таких сервера можно собрать в VM на одном нормальном хосте. Физические машины убираются из стойки, тепловыделение падает, кондиционер получает передышку. Плюс ИБП начинают работать на более высокой нагрузке относительно номинала - а у большинства устройств КПД выше при 60-80% нагрузки, чем при 40%.

Это не быстрая история. Миграция физических серверов в VM требует времени, тестирования и согласования окон. Но направление понятно.

Где мы сейчас

Замеры есть, проблема видна, план в черновике. Несколько вещей требуют решения клиента: какие сервисы трогаем первыми, когда окна обслуживания. Параллельно смотрим на режимы работы кондиционеров - есть подозрение, что один из них работает в неоптимальном режиме и его перенастройка даст быстрый результат без капитальных вложений.

PUE 2,1 - это не приговор, но ориентир для работы. У крупных ЦОД он сейчас в районе 1,5-2,0, у хорошо спроектированных - ниже. Наша серверная меньше промышленного ЦОД на порядок, но физика та же. Тратить два рубля на электричество, чтобы серверы получили один - расточительно вне зависимости от масштаба.

Про результаты консолидации напишем, когда будет что показать. Задача у нас в работе для клиентов на сопровождении инфраструктуры.