Системы охлаждения ЦОД: как выбрать схему под стойку и оборудование

Нагрузка в ЦОДе растет, а существующая система охлаждения уже не удерживает оборудование в допустимом режиме. Причина может быть в движении воздуха, плотности отдельных стоек, работе холодильного оборудования или внешнем контуре отвода тепла.

Ниже разберем, как найти ограничение, какие варианты охлаждения рассматривать и что проверить перед модернизацией площадки.

В этой статье:

• Как понять, что система охлаждения перестала справляться
• Какие данные собрать для поиска причины перегрева
• Где искать ограничение: в стойке, ряду, машинном зале или внешнем контуре
• Что можно исправить без замены архитектуры охлаждения
• Какие варианты модернизации рассматривать
• Какие риски учитывать при переходе на жидкостное охлаждение
• Что указывать в техническом задании
• Вопросы и ответы

Как понять, что система охлаждения ЦОД перестала справляться

Сначала определяют масштаб и условия, при которых появляется перегрев. Проблема может затрагивать одну стойку, отдельную зону или весь машинный зал. Важно также понять, возникает ли она постоянно, во время пиков или после отключения части оборудования.

Средняя температура помещения мало помогает при такой оценке. Она может оставаться допустимой, пока отдельные серверы уже работают за пределами своего температурного режима.

Определите:

• где появляется отклонение;
• при какой нагрузке оно начинается;
• как быстро показатели возвращаются к норме.

Так задают границы дальнейшей проверки. Пока неизвестно, где именно случается перегрев, переходить к выбору способа модернизации рано.

Какие данные собрать до изменений

Измерения проводят в период, который включает обычную работу, пиковые нагрузки и длительные вычислительные задачи. Показатели фиксируют по времени, чтобы связать рост температуры с изменением режима оборудования.

Что записать

• снять потребляемую мощность проблемных стоек;
• зафиксировать температуру воздуха на входе и выходе серверов;
• записать обороты вентиляторов и режим работы охлаждающих установок;
• измерить расход воздуха;
• снять температуру, давление и расход теплоносителя при наличии жидкостного контура;
• выгрузить предупреждения и аварийные события за тот же период.

Что осмотреть

• отметить направление воздушного потока через оборудование;
• зафиксировать свободные монтажные места без заглушек;
• осмотреть кабельные проходы и боковые зазоры;
• отметить препятствия перед входом и выходом воздуха;
• проверить целостность изоляции коридоров;
• оценить состояние дверей и перфорации шкафов.

Где искать ограничение: четыре уровня

Собранные показатели рассматривают по цепочке отвода тепла. Каждый уровень отвечает за свой участок, поэтому выводы делают отдельно.

Оборудование и стойка

Способен ли сервер получить нужный объем воздуха и свободно отвести нагретый поток? Дополнительное сопротивление могут создавать двери, фильтры, внутренние элементы шкафа и плотные кабельные жгуты.

Рост температуры в верхней части часто указывает на возврат горячего воздуха или недостаточную подачу к этой зоне.

Ряд и машинный зал

Как охлаждение распределяется между стойками? Один ряд может получать избыток воздуха, пока более нагруженная зона работает с дефицитом.

Перепады давления, нарушение изоляции коридоров и утечки через проходы меняют направление потоков и создают локальные участки перегрева.

Охлаждающее оборудование

Далее оценивают фактическую холодопроизводительность установок и скорость их реакции на изменение нагрузки. Паспортные данные сопоставляют с фактическим режимом и настройками управления.

Отдельно анализируют режим при отключении одного устройства. Резерв должен удерживать допустимые параметры во время переключения и ремонта.

Внешняя система отвода тепла

Проверяют оборудование, которое охлаждает воду и выводит тепло за пределы здания. Важно понять, хватает ли его мощности при полной нагрузке, высокой температуре на улице и отключении одного из устройств.

Даже при исправной работе внешней системы охлажденный воздух или вода могут поступать к стойкам в недостаточном объеме. Поэтому проверяют всю цепочку от серверов до оборудования за пределами машинного зала.

Что можно исправить без замены охлаждения

При смешении потоков или неравномерной подаче могут помочь локальные изменения.

Перекрыть возврат нагретого воздуха

Свободные монтажные места закрывают заглушками, кабельные проходы герметизируют, зазоры между стойками и ограждением коридора устраняют. Так горячий поток уходит в зону возврата и меньше попадает к входу серверов.

Направить подачу в перегруженную зону

Распределение воздуха меняют с учетом тепловой нагрузки рядов и стоек. Для этого регулируют расход через напольные панели или рядовые блоки, настраивают скорость вентиляторов и проверяют давление в коридоре.

При возможности часть оборудования переносят в менее нагруженную стойку. Такое решение оценивают вместе с доступной мощностью питания, подключением к сети и требованиями к размещению серверов.

Восстановить прохождение воздуха через стойку

Кабельные жгуты убирают из зоны выдува, загрязненные фильтры очищают или заменяют. Если дверь создает высокое сопротивление, проверяют, подходит ли площадь перфорации для установленного оборудования.

После изменений показатели снимают при той же нагрузке. Если температура остается высокой, проверяют запас мощности и возможности действующей схемы охлаждения. В таком случае рассматривают расширение или замену системы охлаждения ЦОД.

Какие варианты модернизации рассматривать

В серверных применяют три основных способа отвода тепла: воздушный, прямой жидкостный и иммерсионный. Выбор зависит от тепловой нагрузки, возможностей площадки и объема допустимых изменений.

Обновление воздушного охлаждения

Воздух проходит через корпус сервера и уносит тепло от компонентов. Такой подход остается уместным, пока через стойки можно подать достаточный объем потока.

Модернизация может включать:

• замену действующих кондиционеров на более производительные;
• установку охлаждающих блоков между стойками;
• монтаж задних дверей с теплообменником.

Блоки между стойками обслуживают конкретный ряд. Их используют, когда основной системе сложно равномерно охлаждать весь зал.

Задняя дверь с теплообменником забирает тепло из воздуха на выходе из шкафа. К ней подводят теплоноситель, при этом серверы сохраняют штатную схему охлаждения.

Воздушный способ проще встроить в действующую серверную

Его выбирают, когда площадка позволяет увеличить подачу без масштабной перестройки.

Прямое жидкостное охлаждение

К процессорам и графическим ускорителям устанавливают пластины с внутренними каналами. По ним циркулирует теплоноситель, который забирает основную часть тепла.

Такой способ рассматривают при высокой плотности размещения и для серверов, которым уже недостаточно доступного воздушного потока. Он также подходит для локальной модернизации нескольких стоек.

Перед внедрением проверяют:

• совместимость серверов с охлаждающими пластинами;
• возможность проложить трубопроводы;
• место для насосного и распределительного оборудования;
• способность площадки принять отводимое тепло.

Часть компонентов продолжает охлаждаться вентиляторами. Поэтому подачу воздуха в машинный зал сохраняют.

Прямое жидкостное охлаждение

Позволяет модернизировать нагруженную зону без перевода всей площадки на новый способ отвода тепла.

Иммерсионное охлаждение

Серверы размещают в емкости со специальной жидкостью, которая соприкасается с компонентами и забирает тепло со всей поверхности.

Такой подход рассматривают при плотных вычислительных нагрузках и ограниченных возможностях воздушной системы. Он требует серьезных изменений в размещении и обслуживании оборудования.

Перед переходом оценивают:

• совместимость серверов и комплектующих с рабочей жидкостью;
• место для установки емкостей;
• способ подключения к внешней системе отвода тепла;
• порядок замены и ремонта компонентов;
• требования к хранению и контролю жидкости.

Обычные шкафы при такой схеме не используются. Меняется и привычный доступ к серверному оборудованию.

Иммерсионный способ

Подходит для специализированных зон, где высокая тепловая нагрузка оправдывает перестройку площадки.

Выбирать вариант только по мощности стоек недостаточно. Нужно учитывать существующую инфраструктуру, требования серверов и допустимый объем изменений для работающей площадки.

Какие риски учитывать при переходе на жидкостное охлаждение

Несколько серверов могут зависеть от одного жидкостного контура. Поэтому до внедрения проверяют, как система поведет себя при отказе оборудования, протечке и плановом обслуживании.

Отказ насоса или распределительного блока

CDU (распределительный блок жидкостного охлаждения) передает тепло от серверов в систему площадки. Он также поддерживает нужные температуру, давление и расход жидкости.

Остановка насоса или CDU может нарушить охлаждение всей подключенной группы. В проекте нужно определить:

• как включается резерв;
• сколько времени занимает переключение;
• что происходит с серверами при остановке циркуляции;
• сохраняет ли контур работу при потере питания.

Параметры жидкости

Каждая модель сервера рассчитана на определенные значения температуры, давления и расхода. Выход за установленные пределы ухудшает отвод тепла и может вызвать защитное отключение оборудования.

Температуру также сопоставляют с условиями в помещении. Если поверхность трубок и соединений окажется холоднее точки росы, на ней может появиться конденсат.

Протечки

Датчики размещают рядом с соединениями, распределительными блоками и участками, где проходит жидкость. Аварийный сигнал должен поступать в систему мониторинга.

Поврежденную ветку нужно отключить без остановки всего контура. Для этого заранее определяют границы секций и порядок локализации утечки.

Обслуживание серверов

Доступ к одному устройству не должен требовать отключения соседних. Для этого предусматривают отдельные ветки, запорные элементы и быстроразъемные соединения.

Также проверяют, можно ли заменить насос, CDU или участок трубопровода без длительной остановки подключенного оборудования.

До подключения серверов проверяют включение резерва, локализацию протечки и возможность обслуживать отдельную ветку без остановки всего контура. Эти сценарии должны быть предусмотрены до подключения серверов.

Что указывать в техническом задании

Документ должен описывать ожидаемый результат, условия работы и допустимое поведение системы при отказах. Общей формулировки про достаточное охлаждение для этого мало.

В техническом задании фиксируют:

• Область модернизации. Указывают стойки, серверы и компоненты, которые входят в проект.
• Расчетную нагрузку. Задают текущую и планируемую тепловую мощность для каждой подключаемой зоны.
• Рабочие параметры. Прописывают допустимые температуру, давление и расход жидкости на входе в серверы.
• Остаточную воздушную нагрузку. Указывают, какую часть тепла продолжит отводить система машинного зала.
• Резервирование. Описывают работу при отказе насоса, CDU, питания или отдельной ветки.
• Контроль протечек. Определяют места установки датчиков, порядок отключения участка и передачу аварийного сигнала.
• Обслуживание. Фиксируют возможность отключить сервер или часть контура без остановки соседнего оборудования.
• Приемочные испытания. Задают проверку под расчетной нагрузкой, переход на резерв и реакцию на аварийные события.
• Границы ответственности. Указывают точки подключения и распределяют работы между поставщиком серверов, проектировщиком и службой эксплуатации.

В результате проектировщик получает измеримые требования к режимам работы, резерву и обслуживанию. Это снижает риск расхождений между возможностями серверов и инженерной инфраструктурой площадки.

Вопросы и ответы