FC против 10GbE iSCSI в 2014: считаем деньги и нервы заново

Примерно раз в полгода у нас появляется клиент, который строит новое хранилище и спрашивает: FC или iSCSI? В мае 2014 этот вопрос пришёл от производственной компании - несколько хостов VMware vSphere 5.5, пара десятков виртуальных машин, среди которых есть 1С и MSSQL, плюс файловые серверы. Бюджет - средний, требования к задержкам - нормальные, но не биржевые.

Казалось бы, мы уже проходили это в 2010. Но за четыре года кое-что изменилось, и вопрос стоит пересмотреть.

Что изменилось с 2010 года

Тогда 10GbE-карты и коммутаторы стоили заметных денег и покупались как специализированное оборудование. Сейчас 10GbE-порты начинают появляться в «обычных» коммутаторах уровня агрегации, а карты заметно подешевели. Серверные линейки HP и Dell в актуальных конфигурациях всё чаще идут с 10GbE на борту или как недорогая опция.

FC-оборудование при этом особо дешевле не стало. Коммутаторы Brocade и Cisco MDS - по-прежнему отдельная статья capex с отдельными лицензиями. HBA в серверы - тоже не копейки.

Что мы сравнивали

Клиент рассматривал два варианта:

• FC-вариант. Два коммутатора Brocade в отказоустойчивой конфигурации, 16Gb FC HBA в каждый сервер (4 хоста vSphere + 2 физических сервера), СХД с FC-контроллерами.
• iSCSI-вариант. Выделенная 10GbE-сеть: два стека коммутаторов (Core Cisco Nexus 3064 и top-of-rack), iSCSI-адаптеры с аппаратным TOE offload в серверы, СХД с iSCSI-контроллерами. Jumbo frames, изолированные VLAN, QoS.

По дискам и контроллерной логике СХД варианты были сопоставимы - выбирали именно фронтальный протокол.

Деньги

Посчитали честно: FC-вариант дороже по железу примерно на треть только за счёт коммутаторов и адаптеров. Если смотреть на полный список:

• FC HBA для 16Gb дороже iSCSI TOE-адаптера с поддержкой 10GbE в полтора раза и выше.
• FC-коммутаторы - это отдельная фабрика, которую нельзя переиспользовать ни для чего другого. 10GbE-коммутаторы работают и под обычный Ethernet-трафик, и под iSCSI-сегмент одновременно - при правильной изоляции.
• Лицензии и поддержка на Brocade - отдельная история, там за каждый порт.

Разница в итоговой стоимости инфраструктуры вышла ощутимая. Для клиента с ограниченным бюджетом это уже не абстрактное «немного дороже».

Задержки и производительность

Запустили IOMeter на стенде с реальным железом: случайный I/O 4K (самый показательный для OLTP), случайный 64K, последовательный. Глубина очереди - от 1 до 32.

При глубине очереди 1 FC показал чуть лучшие задержки на мелком случайном чтении - порядка 0,3-0,4 мс против 0,5-0,7 мс у iSCSI. Разрыв есть, но он не тот, из-за которого 1С заметит разницу.

При глубине очереди 8 и выше (а это ближе к тому, что видит реальная нагрузка от нескольких VM одновременно) - результаты сходятся. Дисковый контроллер становится узким местом раньше, чем сетевой стек.

Важная оговорка: iSCSI тестировался в правильных условиях - выделенные порты, MTU 9000, QoS. Без этого картина другая.

Эксплуатация - и вот тут FC проигрывает по-настоящему

Производительность у FC чуть лучше на бумаге, но операционная история другая. FC-фабрика - это отдельная экосистема с отдельным управлением, зонированием, отдельными инструментами мониторинга. Хорошего специалиста по Brocade или Cisco MDS в регионе найти труднее, чем сетевика, который знает Cisco Nexus.

У клиента в штате - системный администратор широкого профиля, без специализации на FC. Вариант «поставить FC, потом разобраться» означает либо постоянный подряд со стороны, либо годы с ощущением, что в инфраструктуре есть чёрный ящик.

10GbE-сеть с iSCSI - это Ethernet. С ней работают те же инструменты, те же люди, тот же мониторинг в Zabbix через стандартные SNMP-метрики. Задержки iSCSI видны через VMware-инструменты, multipath настраивается через стандартный VMware NMP, проблемы диагностируются знакомыми средствами.

Что порекомендовали

iSCSI на 10GbE. Схема такая:

• Два независимых 10GbE-коммутатора для изоляции путей (A/B fabric), никакого смешивания с production-Ethernet на тех же портах.
• iSCSI HBA с аппаратным offload в серверы - программный инициатор Microsoft работает, но снимает нагрузку с CPU хуже, особенно на хостах vSphere под реальной нагрузкой.
• Jumbo frames MTU 9000 по всему iSCSI-пути - без этого выигрыш от 10GbE реализуется хуже.
• VMware NMP с Round Robin для multipath - стандартное решение, хорошо документированное.
• Мониторинг задержки в Zabbix через esxcli storage stats и SNMP с коммутаторов.

FC порекомендовали бы только если бы у клиента уже была действующая FC-фабрика или жёсткие требования к задержкам типа финансовых систем реального времени. Для типичного корпоративного клиента с 1С, MSSQL и файловыми серверами - разница в задержках не стоит разницы в бюджете и сложности эксплуатации.

Внедряем. Через пару месяцев расскажем, как ведёт себя под реальной нагрузкой в продакшне.