Обзор сервера Supermicro SYS-621H-TN12R: характеристики и применение

Что представляет собой Supermicro SYS-621H-TN12R

Supermicro SYS-621H-TN12R входит в линейку Hyper. В основе сервера лежит системная плата X13DEM. В одном корпусе размещаются процессоры, оперативная память, накопители и дополнительные устройства. Все компоненты работают в составе единой системы.

Переднюю часть корпуса занимают 12 отсеков для накопителей с горячей заменой. Такая конструкция позволяет заменить диск без выключения сервера. При этом сохранность данных и непрерывность работы зависят от организации дисковой подсистемы.

Еще одна особенность модели — несколько вариантов размещения плат расширения. Производитель предусмотрел разные схемы подключения дополнительных устройств. Выбор исполнения влияет на количество доступных разъемов и возможность установки графических ускорителей.

Сервер сочетает вычислительные ресурсы, локальное хранилище и возможности расширения в корпусе 2U. При подборе важно учитывать конструкцию платформы: она определяет, какие компоненты можно установить одновременно.

Для каких задач подходит сервер

Supermicro SYS-621H-TN12R можно использовать для виртуализации, корпоративных приложений, хранения данных и вычислений с графическими ускорителями. Производитель также предусматривает применение модели в облачной инфраструктуре и системах машинного обучения.

Рассмотрим, какие задачи можно решать на этой платформе и что влияет на выбор оборудования.

Виртуализация и облачная инфраструктура

Виртуализация позволяет запускать несколько независимых систем на одном физическом сервере.

Например, компания может разместить виртуальные машины для бухгалтерии, внутреннего портала, службы каталогов и испытаний программного обеспечения.

• SYS-621H-TN12R можно использовать как узел виртуализации, который обслуживает несколько приложений одновременно. При распределении ресурсов учитывают характер нагрузки каждой виртуальной машины. Одним приложениям требуется больше оперативной памяти, другим важнее вычислительные возможности процессоров.
• Модель также подходит для частной облачной инфраструктуры. В такой системе несколько физических серверов предоставляют вычислительные ресурсы различным подразделениям или проектам. Распределением ресурсов управляет специальное программное обеспечение.
• Для корпоративной среды необходимо предусмотреть отказоустойчивость. Если все виртуальные машины работают на одном физическом узле, его неисправность может остановить сразу несколько приложений. Снизить зависимость от отдельного сервера помогает объединение узлов с соответствующей настройкой программного обеспечения и хранения данных.

Подробнее о расчете ресурсов рассказали в статье Как выбрать сервер для виртуализации.

Корпоративные приложения и базы данных

Сервер можно выделить под систему управления предприятием, учетное программное обеспечение или базу данных. Такой вариант подходит компаниям, которым требуется отдельная вычислительная система для конкретного приложения.

Предположим, сотрудники нескольких подразделений ежедневно работают с общей базой данных. Они создают документы, проводят операции и формируют отчеты. Чем больше одновременных обращений, тем выше нагрузка на систему. При размещении подобных приложений учитывают количество пользователей, сложность запросов и характер операций с данными.

Например, частая запись в базу предъявляет другие требования к оборудованию, чем периодическое формирование отчетов.

SYS-621H-TN12R позволяет собрать конфигурацию с учетом этих особенностей. Однако возможность запуска конкретной программы зависит от совместимости операционной системы, базы данных и серверного оборудования. Для некоторых корпоративных решений также действуют ограничения по лицензированию.

Программно-определяемое хранение данных

Компании могут создавать системы хранения на базе серверов с установленными накопителями. Специальное программное обеспечение управляет дисками и позволяет объединять ресурсы нескольких машин в общее хранилище. Такой подход называют программно-определяемым хранением данных, или SDS.

Supermicro относит это направление к основным сценариям применения SYS-621H-TN12R. Модель можно использовать как один из узлов системы, которая предоставляет место для виртуальных машин, корпоративных приложений или файловых данных.

Например, организация планирует построить общее хранилище из нескольких серверов. Каждый узел предоставляет собственные дисковые ресурсы. Программное обеспечение объединяет их и управляет размещением данных.

Возможности такой системы зависят от выбранной программы и архитектуры. Для защиты от отказов могут применяться копирование данных между узлами или другие механизмы избыточности. При проектировании также учитывают скорость сетевого обмена и требования к восстановлению информации.

Совместимость SYS-621H-TN12R с конкретной системой SDS необходимо проверять по документации разработчика программного обеспечения.

Машинное обучение и искусственный интеллект

Платформа поддерживает установку совместимых графических ускорителей. Они позволяют выполнять вычисления, которые программы машинного обучения способны распределять между GPU. Производитель указывает обучение моделей и использование готовых нейросетей среди областей применения сервера.

• Один из возможных сценариев — обработка корпоративных документов с помощью локальной нейросети. Система получает запрос, анализирует доступные данные и формирует ответ. Компания может разместить такую модель в собственной инфраструктуре, если ее программное обеспечение поддерживает выбранную конфигурацию.
• Другой пример — анализ изображений. Нейросеть обрабатывает поступающие фотографии или видеокадры и определяет объекты. Подобные задачи встречаются в производстве, логистике и системах контроля качества.
• Отдельное направление — обучение и дообучение моделей. Специалисты используют подготовленные наборы данных, чтобы создать нейросеть или адаптировать существующую под конкретную задачу. Вычислительная нагрузка зависит от размера модели, способа обучения и объема данных.

При этом графические ускорители нужны далеко не каждому проекту. Некоторые программы могут работать на центральных процессорах. Для других достаточно одного GPU, а более крупные модели требуют нескольких ускорителей одновременно.

Подробнее о выборе количества ускорителей рассказали в статье Сервер для локального ИИ: 1, 2 или 4 GPU.

Основные характеристики

Supermicro SYS-621H-TN12R поддерживает несколько вариантов оснащения процессорами, памятью, накопителями и платами расширения. В таблице собраны основные параметры модели из официальной спецификации Supermicro. Предельные значения описывают возможности платформы и зависят от выбранной комплектации.

Количество графических ускорителей зависит от их размеров, энергопотребления и совместимости с платформой. Подробно рассмотрим особенности отдельных компонентов в следующих разделах.

Процессоры и оперативная память

Supermicro SYS-621H-TN12R позволяет подобрать процессоры под характер вычислений и установить большой объем оперативной памяти. При этом производительность зависит от сочетания компонентов. Важно учитывать количество процессорных ядер, скорость памяти и порядок заполнения разъемов.

Какие процессоры поддерживает сервер

Платформа работает с Intel Xeon Scalable 4-го и 5-го поколения. На системной плате X13DEM предусмотрены два процессорных гнезда LGA-4677. Сервер поддерживает модели с количеством ядер до 64 и расчетной тепловой мощностью до 350 Вт на процессор.

При подборе Intel Xeon учитывают три основных параметра:

• Количество ядер. Определяет, сколько вычислительных потоков процессор способен выполнять параллельно. Особенно важно для программ, которые эффективно распределяют нагрузку между ядрами.
• Тактовая частота. Влияет на скорость выполнения операций. Для приложений с ограниченным числом рабочих потоков производительность отдельного ядра может быть важнее общего количества ядер.
• Кеш-память. Хранит данные, к которым процессор обращается часто. Ее объем и устройство влияют на скорость работы отдельных приложений.

Производитель также заявляет поддержку Intel Xeon CPU Max Series. Эти процессоры оснащены встроенной памятью HBM с высокой пропускной способностью. Она позволяет ускорить обмен данными в определенных вычислительных задачах. Результат зависит от программы и выбранного режима работы памяти.

При сравнении процессоров важно учитывать требования программного обеспечения. Две модели Xeon с разным количеством ядер и тактовой частотой могут показывать разные результаты на одной нагрузке.

Как устроена оперативная память

Системная плата X13DEM оснащена 32 разъемами DDR5. На каждый процессор приходится по 16 разъемов, объединенных в восемь каналов памяти.

Канал обеспечивает обмен данными между процессором и модулями оперативной памяти. Чем больше каналов задействовано, тем выше может быть общая пропускная способность подсистемы. При этом фактическая скорость работы зависит от процессора, установленных модулей и приложения.

Сервер поддерживает память DDR5 ECC RDIMM:

• ECC позволяет обнаруживать и исправлять определенные ошибки памяти. Это снижает вероятность повреждения данных из-за подобных ошибок.
• RDIMM — модули с регистром, который обрабатывает управляющие сигналы памяти. Их используют в серверных системах, рассчитанных на большое количество модулей.

Supermicro поддерживает обычные RDIMM и модули повышенной емкости 3DS RDIMM. Последние позволяют увеличить общий объем оперативной памяти.

Как объем памяти влияет на скорость

У SYS-621H-TN12R доступная скорость DDR5 зависит от количества модулей на канал.

При установке одного модуля в каждый канал можно использовать до 16 модулей на два процессора. В такой схеме производитель указывает следующие предельные скорости:

• До 4800 МТ/с с Intel Xeon Scalable 4-го поколения.
• До 5600 МТ/с с Intel Xeon Scalable 5-го поколения.

Если установить по два модуля на канал, количество задействованных разъемов увеличится до 32. При этом максимальная заявленная скорость составляет 4400 МТ/с для обоих поколений.

МТ/с означает миллионы передач данных в секунду. Показатель характеризует скорость передачи данных памятью. Для работы на заявленной частоте процессор и модули должны поддерживать соответствующий режим.

Различается и максимальный объем оперативной памяти:

Получается, увеличение количества модулей позволяет нарастить емкость, но снижает предельную скорость DDR5. При выборе необходимо учитывать потребность программы в объеме памяти и скорости доступа к данным.

Как правильно устанавливать модули

Supermicro рекомендует равномерно заполнять каналы памяти. На плате X13DEM сначала используют основные разъемы каналов, затем дополнительные. Точный порядок зависит от количества установленных процессоров и модулей.

Например, при двух процессорах память следует распределять между ними по предусмотренной производителем схеме. Если один канал содержит два модуля, а другой только один, нарушается равномерность заполнения. Это может снизить эффективность обмена данными.

Также производитель устанавливает ограничения на сочетание модулей разных типов, плотности и частоты. Перед закупкой необходимо проверить совместимость выбранных планок.

Подробные схемы для X13DEM приведены в официальном руководстве Supermicro по установке памяти.

При выборе объема DDR5 стоит заранее предусмотреть возможность расширения.

Например, конфигурация со свободными разъемами позволяет добавить память позднее, но переход к двум модулям на канал может потребовать снижения скорости. Совместимость новых и установленных модулей также необходимо проверить.

Накопители и дисковая подсистема

Supermicro SYS-621H-TN12R позволяет организовать локальное хранение на жестких дисках и твердотельных накопителях. Платформа поддерживает несколько способов подключения, но для некоторых из них потребуются дополнительные контроллеры и кабели. Состав дисковой системы стоит определить до закупки оборудования.

Какие накопители можно установить

На передней панели расположены 12 отсеков с горячей заменой. Сервер поддерживает диски размером 3,5 и 2,5 дюйма с интерфейсами SATA, SAS и NVMe.

У каждого интерфейса свои особенности:

• SATA. Используется для жестких дисков и твердотельных накопителей. Интерфейс поддерживает скорость передачи данных до 6 Гбит/с. HDD SATA можно рассматривать для хранения больших объемов информации, а SSD — для задач с более частыми обращениями к данным.
• SAS. Предназначен для подключения совместимых серверных накопителей через соответствующий контроллер. Возможности подключения и управления дисками зависят от установленного оборудования.
• NVMe. Позволяет твердотельным накопителям обмениваться данными через PCIe. Подходит для приложений с интенсивными операциями чтения и записи, особенно когда важны небольшие задержки.

Горячая замена позволяет извлечь накопитель без выключения сервера. Однако возможность безопасно заменить работающий диск зависит от настроек контроллера, операционной системы и организации хранения данных.

Подробнее о характеристиках и различиях твердотельных накопителей рассказали в статье Как выбрать SSD для сервера под разные задачи.

Как подключаются диски

Поддержка SATA, SAS и NVMe дает возможность использовать разные типы накопителей, но их подключение устроено по-разному.

• Для SATA сервер предусматривает встроенные средства подключения и управления дисками.
• Накопителям SAS требуется совместимый контроллер.
• NVMe использует линии PCIe, поэтому его подключение зависит от соответствующих соединений внутри системы.

Supermicro предупреждает, что для работы с NVMe, SAS и SATA могут потребоваться дополнительные контроллеры или кабели. Их наличие следует проверять в составе конкретной поставки.

Особенно важно учитывать это при использовании нескольких типов дисков. Перед закупкой нужно уточнить, какие отсеки будут подключены, какие интерфейсы доступны и какое дополнительное оборудование входит в комплектацию.

Дополнительные накопители M.2

На системной плате X13DEM предусмотрены два разъема M.2 с поддержкой NVMe и SATA. Они рассчитаны на накопители форматов 2280 и 22110.

Обозначения указывают размеры устройства: ширина составляет 22 мм, длина — 80 или 110 мм соответственно. Накопители M.2 устанавливаются непосредственно на системную плату. Их можно использовать для операционной системы и служебных программ, сохранив передние отсеки для рабочих данных.

Например, системные файлы размещают на M.2, а основные диски выделяют под базы данных или хранилище виртуальных машин.

Для такой схемы необходимо проверить совместимость накопителей с разъемами и поддержку загрузки в выбранной конфигурации. Если требуется защита от отказа системного диска, понадобится соответствующий способ резервирования.

Как работает RAID

Сервер поддерживает создание дисковых массивов RAID. Технология объединяет несколько физических накопителей в логический массив. В зависимости от выбранного уровня RAID можно повысить отказоустойчивость хранения или распределить операции между дисками.

Supermicro заявляет поддержку RAID 0, 1, 5 и 10 для SATA и NVMe. Для реализации указанных режимов RAID на NVMe производитель предусматривает ключ Intel VROC. При использовании SAS возможности создания массивов зависят от установленного контроллера.

Основные различия между уровнями RAID:

Выбор RAID влияет на доступную емкость хранилища.

Например, при зеркалировании на двух одинаковых дисках половина суммарной емкости используется для хранения копии данных.

При отказе накопителя массив с избыточностью может продолжить работу. После замены неисправного устройства система восстанавливает необходимые данные. Процесс создает дополнительную нагрузку на оставшиеся диски.

RAID снижает последствия отдельных аппаратных отказов, но не защищает от случайного удаления файлов, повреждения информации программами или вредоносных действий. Для подобных ситуаций необходимо отдельное резервное копирование.

Графические ускорители и слоты PCIe

Supermicro SYS-621H-TN12R позволяет устанавливать дополнительные устройства через PCIe 5.0. Этот интерфейс обеспечивает обмен данными между процессорами и подключенными платами. Для сервера предусмотрены два варианта расположения разъемов, которые отличаются количеством линий и допустимыми размерами оборудования.

Какие слоты PCIe доступны

В официальной спецификации Supermicro указаны следующие варианты:

Обозначения x8 и x16 показывают количество линий PCIe, по которым передаются данные. При одинаковой версии интерфейса соединение x16 обеспечивает вдвое большую теоретическую пропускную способность, чем x8.

При этом физический размер разъема и число доступных линий могут различаться.

Например, в варианте B установлены разъемы размера x16, но каждый использует восемь линий. Вариант A рассчитан на размещение более крупных устройств, в том числе графических ускорителей двойной ширины. Они занимают пространство, соответствующее двум соседним разъемам. Вариант B позволяет установить больше плат меньшей высоты.

Для реализации выбранной схемы расширения могут потребоваться дополнительные комплектующие. Их состав производитель приводит в перечне дополнительных компонентов.

Подробнее об устройстве интерфейса рассказали в статье PCIe в сервере: версии, линии и пропускная способность.

Какие графические ускорители поддерживает сервер

Supermicro заявляет поддержку нескольких моделей NVIDIA с подключением через PCIe. Среди них H100, A100, A16, A40, L4, L40 и L40S.

Платформа предусматривает размещение до четырех двухслотовых или восьми однослотовых ускорителей. Однако допустимое количество зависит от конкретной модели GPU.

Например, для NVIDIA H100 PCIe производитель подтверждает установку трех ускорителей, хотя конструкция сервера в целом предусматривает до четырех двухслотовых плат. Для NVIDIA A100 PCIe и L40S проверены варианты с четырьмя устройствами.

Аналогичная ситуация с однослотовыми ускорителями. Платформа допускает размещение до восьми таких плат, но для NVIDIA L4 в перечне совместимости указана конфигурация с пятью устройствами.

Что ограничивает установку GPU

Количество свободных разъемов PCIe еще не определяет, сколько графических ускорителей сможет работать в одном сервере. Важны конструкция плат, требования к питанию и условия охлаждения.

1. Размеры ускорителей. Производитель проверяет размещение каждой модели внутри корпуса. Двухслотовые устройства занимают больше пространства, поэтому их количество ограничено выбранной схемой расширения.
2. Тепловая мощность процессоров. Supermicro устанавливает отдельные ограничения для некоторых конфигураций с GPU. Например, три NVIDIA H100 PCIe проверены при использовании двух процессоров с расчетной тепловой мощностью до 250 Вт каждый. Для четырех L40S допустимое значение составляет до 165 Вт на процессор.
3. Температура окружающего воздуха. Для указанных сочетаний с H100 и L40S производитель устанавливает предел 25 °C. Для пяти NVIDIA L4 допустимая температура составляет до 30 °C при процессорах с тепловой мощностью до 300 Вт каждый.
4. Охлаждение графических плат. В официальном перечне Supermicro указаны ускорители с пассивным охлаждением. Для отвода тепла они используют воздушный поток, который создают вентиляторы сервера. Поэтому важно соблюдать условия, установленные для всей конфигурации.

Перед закупкой также необходимо проверить поддержку выбранных GPU операционной системой, драйверами и прикладным программным обеспечением.

Сетевые подключения и управление

Supermicro SYS-621H-TN12R использует сменные сетевые модули, которые позволяют подобрать подключения под требования компании. Для управления оборудованием предусмотрен отдельный сетевой порт. Благодаря этому администратор может контролировать состояние сервера независимо от его основных сетевых соединений.

Какие сетевые адаптеры можно установить

Сетевые подключения организованы через разъем AIOM, совместимый со стандартом OCP NIC 3.0. Он предназначен для установки сменных сетевых плат. Их количество портов, скорость и тип подключения зависят от выбранного модуля.

В стандартном исполнении сервер имеет один разъем AIOM. Производитель также предусматривает установку второго с помощью дополнительного комплекта компонентов.

Такая схема позволяет подобрать сетевые адаптеры под существующую инфраструктуру. Например, для подключения к корпоративной сети может потребоваться один набор портов, а для обмена данными между серверами или внешними системами хранения — другой.

При наличии двух сетевых модулей можно организовать отдельные подключения для разных задач:

• Рабочая сеть. Передает данные между сервером, пользователями и корпоративными приложениями.
• Сеть хранения. Обеспечивает обмен данными с внешними системами хранения.
• Соединения между серверами. Используются для передачи данных между вычислительными узлами.

Разделение подключений помогает распределить сетевую нагрузку. Для резервирования связи потребуются дополнительные настройки и соответствующая схема подключения к коммутаторам. Само наличие двух сетевых адаптеров не гарантирует сохранение соединения при отказе одного из них.

Для систем с интенсивным обменом данными между узлами иногда используют RDMA. Эта технология позволяет передавать данные с меньшим участием центрального процессора. Ее поддержка зависит от сетевых адаптеров и остального оборудования.

Как работает удаленное управление

На задней панели SYS-621H-TN12R расположен отдельный порт RJ-45 со скоростью 1 Гбит/с. Он предназначен для контроллера BMC, который отвечает за аппаратное управление сервером.

BMC работает независимо от установленной операционной системы. При наличии питания и сетевого подключения администратор может получать информацию о состоянии оборудования, даже если основная система не загрузилась.

Через BMC доступны следующие функции:

• Контроль состояния. Просмотр температуры компонентов, скорости вентиляторов и показаний аппаратных датчиков.
• Управление питанием. Удаленное включение, выключение и перезагрузка сервера.
• Просмотр событий. Получение сообщений об аппаратных ошибках и изменениях состояния оборудования.
• Удаленное обслуживание. Доступ к средствам управления и диагностики без посещения серверной.

Платформа поддерживает IPMI 2.0 и Redfish. IPMI обеспечивает стандартные операции аппаратного управления, а Redfish позволяет программам получать сведения о состоянии системы и выполнять административные действия.

Например, если сервер перестал отвечать на запросы, администратор может подключиться к BMC, проверить состояние оборудования и выяснить, доступны ли средства удаленного восстановления. Набор функций зависит от версии встроенного программного обеспечения и необходимых лицензий.

Как защитить доступ к управлению

BMC предоставляет возможность управлять питанием и настройками оборудования. Поэтому доступ к контроллеру должен быть ограничен.

Для корпоративной инфраструктуры рекомендуется использовать отдельную сеть администрирования. Это позволяет изолировать управление сервером от обычного пользовательского обмена данными.

Также необходимо настроить права учетных записей, обеспечить защиту паролей и ограничить доступ к управляющему порту. Supermicro использует индивидуальные заводские пароли BMC, которые следует учитывать при первоначальной настройке.

Обновления встроенного программного обеспечения нужно устанавливать по согласованному порядку обслуживания, предварительно проверяя их совместимость с оборудованием.

Примеры конфигураций под разные задачи

Состав Supermicro SYS-621H-TN12R можно менять в зависимости от требований проекта. Рассмотрим три варианта: для виртуализации, хранения корпоративных данных и работы с искусственным интеллектом.

В примерах используются компоненты с подтвержденными характеристиками. Для готовой сборки потребуется дополнительно проверить конкретные модели накопителей, модулей памяти, сетевых адаптеров и необходимые соединительные элементы.

Сервер для виртуализации

Компания планирует разместить несколько корпоративных систем на виртуальных машинах. Среди них могут быть базы данных, учетные программы, внутренние службы и испытательные среды. Для такой нагрузки нужны процессорные ресурсы, достаточный объем оперативной памяти и хранилище виртуальных дисков.

Пример конфигурации:

Два Intel Xeon Gold 6430 предоставляют 64 физических ядра. Каждый процессор может выполнять несколько вычислительных потоков, что важно при одновременной работе виртуальных машин. Однако их допустимое количество определяется требованиями приложений, а также настройками виртуализации.

Для оперативной памяти выбраны 16 модулей по 32 ГБ. Такая схема позволяет задействовать по восемь каналов памяти каждого процессора, оставив свободные разъемы для расширения.

Шесть SSD NVMe выделены под виртуальные диски. Два M.2 можно использовать для установки программной среды виртуализации. При этом необходимо отдельно определить схему защиты системных и рабочих данных. Для подключения шести NVMe также следует проверить необходимую разводку кабелей и дополнительные компоненты.

Сетевой адаптер с двумя портами по 25 Гбит/с можно использовать для подключения к корпоративной сети и внешнему хранилищу. Достаточность такой скорости зависит от характера обмена данными и схемы подключения.

Конфигурация подходит для рассмотрения в проектах с несколькими виртуальными системами. Перед закупкой нужно оценить фактическое потребление процессорных ресурсов, памяти и дискового пространства каждой машиной.

Сервер для хранения корпоративных данных

Организация планирует построить программно-определяемое хранилище из нескольких серверов. На каждом узле будут размещаться локальные диски. Специальное программное обеспечение объединит их ресурсы и обеспечит доступ к данным.

Для примера возьмем конфигурацию с жесткими дисками SATA, рассчитанную прежде всего на хранение больших объемов информации.

Пример конфигурации:

В основе конфигурации два Intel Xeon Gold 5416S. Каждый содержит 16 ядер. Для программного хранения данных производительность центральных процессоров зависит от выбранной системы, способа защиты информации и интенсивности операций.

Оперативная память объемом 256 ГБ распределена между двумя процессорами. В каждом канале установлен один модуль. Такой вариант позволяет использовать доступные каналы памяти без заполнения дополнительных разъемов.

Восемь HDD по 12 ТБ обеспечивают 96 ТБ общей номинальной емкости. Системная плата X13DEM имеет восемь встроенных портов SATA. Для подключения дисков через передние отсеки потребуется соответствующая кабельная разводка.

Полезная емкость хранилища будет зависеть от способа защиты данных. Например, если программное обеспечение создает копии информации на других узлах, часть общего дискового пространства расходуется на избыточность.

Два порта по 25 Гбит/с можно использовать для обмена данными между серверами и подключения хранилища к остальной инфраструктуре. Но необходимую пропускную способность нужно рассчитывать по числу узлов и характеру операций чтения и записи.

Предложенный вариант ориентирован на емкостное хранение. Для баз данных с интенсивным обращением к небольшим блокам информации может потребоваться другая дисковая конфигурация с твердотельными накопителями.

Сервер для локального искусственного интеллекта

Компания планирует разместить несколько нейросетевых приложений в собственной инфраструктуре. Например, одни программы будут обрабатывать документы, другие — анализировать изображения и обслуживать запросы пользователей.

Для распределения вычислений между несколькими ускорителями можно рассмотреть NVIDIA L4. Supermicro подтверждает конфигурацию SYS-621H-TN12R с пятью такими устройствами.

Пример конфигурации:

Каждый NVIDIA L4 оснащен 24 ГБ видеопамяти. Пять ускорителей предоставляют суммарно 120 ГБ, но память распределена между отдельными устройствами. Программа должна поддерживать работу с несколькими GPU, чтобы использовать их ресурсы одновременно.

Подобная система может обслуживать несколько независимых нейросетевых задач или распределять вычисления одной модели между ускорителями, если программное обеспечение поддерживает такой режим.

В качестве процессоров выбраны Intel Xeon Gold 5416S с расчетной тепловой мощностью 150 Вт каждый. Они соответствуют ограничению Supermicro по мощности процессоров для проверенной конфигурации с пятью NVIDIA L4. Производитель также указывает максимальную температуру окружающего воздуха 30 °C для данного сочетания оборудования.

Оперативная память объемом 512 ГБ предназначена для работы программной среды и обработки данных центральными процессорами. Четыре SSD NVMe можно выделить под файлы моделей, наборы данных и результаты вычислений.

При этом пять ускорителей не требуются для любой нейросети. Необходимое количество GPU определяется размером модели, числом одновременных запросов и выбранным способом распределения вычислений.

Для установки пяти NVIDIA L4 нужно проверить исполнение слотов PCIe, кабельные соединения и состав остальных компонентов. Производитель подтверждает подобную конфигурацию, но точный состав поставки необходимо согласовать отдельно.

Расчет конфигурации Supermicro SYS-621H-TN12R

Питание, охлаждение и размещение

Для установки Supermicro SYS-621H-TN12R необходимо предусмотреть электропитание, отвод тепла и достаточно места в серверной стойке. Требования к инфраструктуре зависят от комплектации. Например, несколько графических ускорителей увеличивают потребляемую мощность и тепловыделение системы.

Как устроено питание

В стандартном исполнении сервер оснащен двумя блоками питания по 1200 Вт с горячей заменой. Они соответствуют уровню энергоэффективности 80 PLUS Titanium и поддерживают резервирование.

При отказе одного блока второй может продолжить питать оборудование. Для этого потребление всей системы должно укладываться в мощность оставшегося источника.

Доступная мощность каждого блока зависит от входного напряжения:

Два источника по 1200 Вт не означают, что сервер постоянно потребляет 2400 Вт. Фактическое энергопотребление определяется установленными компонентами и текущей нагрузкой.

Для конфигураций с повышенными требованиями к питанию Supermicro предусматривает дополнительные варианты блоков мощностью 1600, 2000 и 2600 Вт. Их выбор зависит от состава оборудования и необходимого уровня резервирования.

Например, при установке нескольких графических ускорителей необходимо рассчитать общую мощность системы. Если она превышает возможности одного источника, потребуется пересмотреть схему питания или выбрать другие совместимые блоки.

Для защиты от отключения электроснабжения можно использовать источник бесперебойного питания. При наличии двух независимых линий электроснабжения блоки питания можно подключить к разным линиям. Такая схема снижает зависимость от одного источника питания, если остальные компоненты инфраструктуры поддерживают резервирование.

Как сервер охлаждает компоненты

В SYS-621H-TN12R применяется воздушное охлаждение с автоматической регулировкой скорости вентиляторов. Производитель предусматривает до четырех вентиляторов диаметром 80 мм и два направляющих кожуха, которые помогают распределять воздушный поток внутри корпуса.

Система контролирует температуру процессоров и воздуха внутри сервера. При изменении нагрузки автоматика регулирует скорость вращения вентиляторов для поддержания допустимого температурного режима.

Supermicro также предлагает дополнительный вариант жидкостного охлаждения процессоров. Он предусматривает установку охлаждающих пластин непосредственно на процессоры. Для его использования потребуется соответствующая система подачи и отвода охлаждающей жидкости.

Производитель указывает следующие условия эксплуатации:

Общий рабочий диапазон относится к серверной платформе. Для некоторых сочетаний процессоров и графических ускорителей Supermicro устанавливает более строгие ограничения. Их мы рассмотрели в главе о совместимости GPU.

При размещении оборудования важно обеспечить свободное поступление и отвод воздуха. Если соседние устройства или кабели перекрывают вентиляционные отверстия, эффективность охлаждения снижается.

Для нескольких серверов в одной стойке необходимо оценить суммарное тепловыделение. Система охлаждения помещения должна отводить тепло от всего установленного оборудования.

Что учитывать при установке в стойку

SYS-621H-TN12R занимает 2U по высоте, но глубина его корпуса составляет 803 мм. Ширина — 437 мм. Поэтому перед монтажом необходимо проверить внутренние размеры шкафа и пространство для подключения кабелей с задней стороны.

Производитель указывает массу нетто 16,8 кг. После установки процессоров, накопителей, плат расширения и других компонентов фактическая масса может увеличиться. Это нужно учитывать при выборе направляющих и проверке допустимой нагрузки на стойку.

Для модели предусмотрены специальные комплекты направляющих Supermicro. Их совместимость с конкретным шкафом необходимо проверить перед монтажом.

При подготовке места для установки стоит обратить внимание на несколько условий:

• Глубина стойки. Корпус, направляющие и подключенные кабели должны свободно размещаться внутри шкафа.
• Доступ к оборудованию. Передняя панель должна оставаться доступной для замены накопителей, задняя — для обслуживания блоков питания и подключений.
• Электропитание. Распределители питания, кабели и защитные устройства должны соответствовать требованиям выбранной комплектации.
• Вентиляция. Расположение оборудования не должно препятствовать движению воздуха через корпус.

Если в шкафу уже установлены другие серверы и системы хранения, необходимо проверить оставшееся пространство, допустимую нагрузку и возможности охлаждения. Особенно важно учитывать эти условия при размещении нескольких SYS-621H-TN12R в одной стойке.

Вопросы и ответы