Обзор ASUS ESC4000A-E12: характеристики, конфигурации и применение

ASUS ESC4000A-E12 — стоечный сервер для задач искусственного интеллекта и высокопроизводительных вычислений. В корпусе высотой 2U можно установить до четырех двухслотовых графических ускорителей. Разберем технические возможности платформы, рассмотрим примеры конфигураций под разные задачи и выясним, что важно проверить перед закупкой.

В этой статье:

• Особенности ASUS ESC4000A-E12
• Технические характеристики
• Совместимые графические ускорители
• Для каких задач подходит сервер
• Примеры конфигураций ASUS ESC4000A-E12
• Совместимость оборудования: важные моменты
• Вопросы и ответы

Особенности ASUS ESC4000A-E12

Конструкция ASUS ESC4000A-E12 позволяет разместить несколько графических ускорителей в стоечном корпусе. Производитель предусмотрел отдельные зоны для вычислительных компонентов, накопителей и системы охлаждения.

Конструкция корпуса

Основой сервера служит материнская плата ASUS K14PG-U12. На ней размещаются центральный процессор и оперативная память. Графические ускорители подключаются через платы расширения, расположенные в задней части корпуса.

На передней панели находятся шесть отсеков для накопителей с горячей заменой. Доступ к дискам организован снаружи, поэтому для их извлечения не нужно открывать корпус. Возможность замены без остановки системы зависит от настройки дисковой подсистемы.

Рядом расположены кнопки управления и световые индикаторы. Среди них есть диагностический индикатор Q-Code, который отображает коды запуска оборудования. По ним системный администратор может определить, на каком этапе возникла ошибка при включении сервера.

Корпус занимает два посадочных места по высоте в стандартной 19-дюймовой стойке. Подробнее о различиях стоечных и других конструкций рассказали в статье о выборе типа сервера.

Охлаждение и обслуживание

ASUS использует раздельные воздушные каналы для процессора и графических ускорителей. Вентиляторы направляют воздух через соответствующие участки корпуса и отводят тепло от работающих компонентов.

Для доступа к внутренним узлам предусмотрены три съемные крышки, которые открываются без инструментов. Конструкция позволяет обслуживать часть оборудования без полного извлечения сервера из стойки.

Системные вентиляторы и блоки питания выполнены в виде заменяемых модулей. Производитель также предусматривает возможность горячей замены отдельных компонентов. Допустимые условия обслуживания зависят от конкретного узла и режима работы системы.

Технические характеристики

В ESC4000A-E12 используется один процессор AMD EPYC, оперативная память DDR5 и интерфейс расширения PCIe 5.0. Дополнительные платы позволяют подключать высокоскоростные сетевые адаптеры и контроллеры хранения данных.

Основные параметры

Характеристики показывают возможности серверной платформы. Фактический состав оборудования зависит от заказанной комплектации.

Процессор и оперативная память

Материнская плата ASUS K14PG-U12 рассчитана на один процессор AMD EPYC с разъемом SP5. Платформа поддерживает серии 9004 и 9005. При выборе модели необходимо проверить совместимость с установленной версией BIOS.

Процессор. AMD EPYC выполняет операции операционной системы, подготавливает данные для графических ускорителей и обслуживает приложения. Требования к числу ядер и частоте зависят от того, какую часть вычислений программа передает GPU.

Оперативная память. Процессор располагает 12 каналами памяти. Для каждого предусмотрен отдельный разъем. Заполнение каналов совместимыми модулями позволяет использовать предусмотренную платформой пропускную способность.

ASUS указывает поддержку нескольких вариантов памяти:

• DDR5 RDIMM объемом 16, 32 и 64 ГБ.
• DDR5 3DS RDIMM объемом 128 и 256 ГБ.

Модули 3DS RDIMM используют многослойное размещение микросхем, что позволяет увеличить емкость памяти. Максимальный объем 3 ТБ достигается при установке двенадцати модулей по 256 ГБ.

Что важно при выборе: большой объем оперативной памяти полезен для подготовки наборов данных и хранения промежуточных результатов вычислений. Однако сама по себе установка дополнительных модулей не ускоряет программу. Необходимо учитывать ее фактическое потребление памяти и требования к пропускной способности.

Накопители и слоты расширения

Дисковая подсистема поддерживает три интерфейса подключения. Они отличаются способом обмена данными и требованиями к дополнительному оборудованию.

Для SAS производитель предусматривает совместимые контроллеры, включая ASUS PIKE II и Broadcom MegaRAID. Возможности NVMe различаются между вариантами исполнения сервера.

Подробно о различиях между интерфейсами и условиях применения рассказали в статье про NVMe в системах хранения данных.

PCIe 5.0 обеспечивает подключение графических ускорителей и других плат. По сравнению с PCIe 4.0 он имеет вдвое большую пропускную способность на одну линию. Фактическая скорость обмена ограничивается возможностями подключенного устройства.

OCP 3.0 позволяет использовать совместимые серверные сетевые адаптеры. Для установки такого модуля потребуется соответствующее исполнение платы расширения.

Сеть, питание и управление

Сетевые подключения

Два встроенных порта Intel I350 работают со скоростью до 1 Гбит/с каждый. Для передачи больших объемов данных между вычислительными серверами такой скорости может оказаться недостаточно.

При необходимости можно установить дополнительный сетевой адаптер с поддержкой 10, 25 или 100 Гбит/с. Конкретную модель выбирают с учетом совместимости, доступных разъемов и сетевой инфраструктуры.

Электропитание

Сервер оснащается двумя блоками питания по 2600 Вт с сертификацией 80 PLUS Titanium. ASUS предусматривает резервирование по схеме 1+1, при которой один блок способен поддерживать работу оборудования после отказа второго.

Такой режим доступен только при соблюдении ограничений по энергопотреблению. Подробные условия рассмотрим в главе о совместимости.

Удаленное управление

Контроллер ASUS ASMB11-iKVM на базе ASPEED AST2600 позволяет администратору получать доступ к системной консоли и следить за состоянием оборудования через отдельный сетевой порт.

Программа ASUS Control Center дополняет встроенные средства управления. С ее помощью можно наблюдать за состоянием нескольких серверов, проводить диагностику и выполнять административные операции.

Совместимые графические ускорители

ASUS публикует перечень графических ускорителей, которые прошли проверку совместимости с ESC4000A-E12. В него входят модели NVIDIA с разным объемом памяти, энергопотреблением и способом охлаждения. Для каждой производитель указывает допустимое количество плат.

Какие модели поддерживаются

В таблице указан объем памяти одного ускорителя. Количество соответствует вариантам установки, подтвержденным ASUS. Перечень включает основные модели и не охватывает все совместимые устройства.

Графические ускорители с пассивным охлаждением используют воздушный поток, который создают вентиляторы сервера. Модели с активным охлаждением оснащены собственными вентиляторами. От конструкции платы зависят требования к ее размещению внутри корпуса.

Сколько ускорителей можно установить

ESC4000A-E12 поддерживает два варианта размещения: до четырех двухслотовых или восьми однослотовых устройств.

Двухслотовая плата занимает пространство двух соседних позиций расширения, но подключается к одному разъему PCIe. Для четырех ускорителей предусмотрены подключения PCIe 5.0 x16. При установке восьми однослотовых устройств каждое получает соединение PCIe 5.0 x8.

Количество устройств зависит и от конкретной модели. ASUS подтверждает установку восьми NVIDIA L4, но для однослотовой NVIDIA A10 указывает максимум четыре. Поэтому при выборе комплектации нужно учитывать официальный перечень совместимости, даже если размеры платы позволяют разместить больше устройств.

Как ускорители обмениваются данными

Установленные графические ускорители используют PCIe для передачи данных. Для некоторых моделей доступно дополнительное соединение NVIDIA NVLink, которое позволяет устройствам обмениваться данными напрямую через специальный мост.

В руководстве ASUS показана установка соединительных мостов для NVIDIA A100, RTX A5000 и RTX A6000. Поддержка NVLink зависит от модели ускорителя и используемых комплектующих.

Наличие четырех слотов для GPU само по себе не означает, что установленные устройства можно объединить через NVLink. Перед выбором соответствующей конфигурации необходимо проверить поддержку соединительных мостов у конкретных плат.

Для каких задач подходит сервер

ASUS ESC4000A-E12 можно использовать для обучения нейросетей, выполнения готовых моделей ИИ, видеоаналитики и инженерных вычислений. В каждой задаче нагрузка распределяется между процессором, оперативной памятью и графическими ускорителями по-разному.

Обучение и дообучение нейросетей

Компании используют обучение нейросетей для распознавания изображений, анализа документов и обработки текста. Во время работы программа многократно обрабатывает исходные данные и изменяет параметры модели.

Для ускорения обучения программа может распределять вычисления между несколькими GPU. При этом она должна поддерживать соответствующий режим работы.

На что влияет конфигурация:

• Видеопамять. В ней размещаются параметры модели, промежуточные результаты и другие рабочие данные. Для крупных нейросетей объем памяти может ограничивать размер обрабатываемой модели.
• Обмен между GPU. При распределенном обучении устройства передают друг другу результаты вычислений. Задержки при передаче могут снижать пользу от установки дополнительных ускорителей.
• Скорость подготовки данных. Процессор, оперативная память и накопители должны своевременно передавать информацию вычислительным устройствам.

Что важно: требования к обучению с нуля и дообучению могут значительно различаться. Перед подбором сервера нужно знать размер модели, объем исходных данных и способ распределения вычислений.

Выполнение готовых моделей ИИ

После обучения нейросеть можно использовать для обработки новых запросов. Такой процесс называют инференсом.

При запуске модели графический ускоритель хранит ее параметры и рабочие данные. Дополнительные ресурсы требуются для обработки поступающих запросов.

Что определяет потребность в оборудовании:

• Размер модели. Влияет на объем видеопамяти, необходимый для ее размещения.
• Число одновременных пользователей. Определяет нагрузку на вычислительные ресурсы.
• Допустимое время ответа. Помогает понять, какая скорость обработки необходима для рабочего применения.

Несколько GPU можно использовать для отдельных моделей или распределения запросов. Если одна нейросеть занимает больше памяти, чем доступно на одном устройстве, потребуется программная поддержка ее размещения на нескольких ускорителях.

Что важно: корпоративная система, которая обрабатывает документы по расписанию, и внутренний помощник с большим количеством одновременных пользователей предъявляют разные требования к производительности.

Видеоаналитика

Системы видеоаналитики используют нейросети для распознавания объектов, анализа действий людей и обнаружения событий в видеопотоке.

Программа получает изображения, подготавливает кадры и передает их нейросети. Результаты обработки могут использоваться для уведомлений и последующего анализа событий.

На производительность влияют:

• Количество видеопотоков. Определяет общую нагрузку на систему.
• Разрешение и частота кадров. Влияют на объем обрабатываемых изображений.
• Сложность нейросети. Определяет число вычислений, необходимых для анализа одного кадра.

Часть операций по обработке видео могут выполнять специальные аппаратные средства GPU. Их возможности зависят от выбранного ускорителя.

Если предприятие также хранит архив записей, нужно отдельно рассчитать объем дискового пространства и скорость записи данных.

Что важно: перед подбором конфигурации необходимо определить требования к задержке обработки. Анализ архивных записей и обнаружение опасного события в реальном времени требуют разной организации работы.

Инженерные и научные вычисления

Графические ускорители могут выполнять параллельные математические операции. Их используют в расчетных программах, которые поддерживают вычисления на GPU.

Если расчетный алгоритм поддерживает графические ускорители, часть операций можно выполнять одновременно на нескольких устройствах.

При выборе оборудования учитывают:

• Поддержку GPU в расчетной программе. Некоторые приложения выполняют основную работу на центральном процессоре и используют графическую плату преимущественно для отображения результатов.
• Точность вычислений. Для отдельных научных задач требуется формат FP64, который позволяет выполнять расчеты с двойной точностью.
• Объем рабочих данных. Большие расчетные модели могут предъявлять высокие требования к оперативной памяти и скорости обмена между компонентами.

Разные графические ускорители отличаются возможностями вычислений FP64. Поэтому для научного моделирования важно проверить требования конкретной программы.

Примеры конфигураций ASUS ESC4000A-E12

Для одной серверной платформы можно подобрать несколько вариантов оснащения. Состав оборудования зависит от требований к вычислениям, объему памяти и скорости передачи данных. Рассмотрим три конфигурации с комплектующими, которые присутствуют в перечнях совместимости ASUS.

Сервер для обучения нейросетей

Задача: обучение и дообучение нейросетей с распределением вычислений между четырьмя графическими ускорителями.

Состав конфигурации

Почему выбраны эти комплектующие

• Четыре NVIDIA H100 позволяют распределять обучение между несколькими устройствами. Каждый ускоритель располагает 80 ГБ собственной видеопамяти. Для совместной обработки модели потребуется программная поддержка распределенных вычислений.
• AMD EPYC 9454 и 768 ГБ оперативной памяти обеспечивают ресурсы для подготовки обучающих данных и операций, которые выполняются на центральном процессоре. Заполнение всех 12 каналов памяти позволяет использовать предусмотренную платформой пропускную способность.
• Накопители Intel D7-P5510 предназначены для размещения рабочих данных и программного обеспечения. Адаптер ConnectX-6 Dx позволяет подключить сервер к сети со скоростью до 100 Гбит/с на порт для обмена информацией с внешним хранилищем или другими вычислительными узлами.

Что учитывать: четыре H100 предоставляют в сумме 320 ГБ видеопамяти, но память каждого устройства остается отдельной. Возможность разместить одну крупную модель на нескольких ускорителях зависит от используемого программного обеспечения. Для больших обучающих наборов также может потребоваться внешняя система хранения.

Сервер для выполнения моделей ИИ

Задача: обработка запросов корпоративными нейросетями, например для анализа документов и работы внутренних помощников.

Состав конфигурации

Почему выбраны эти комплектующие

• Два NVIDIA L40S поддерживают вычисления FP8 и FP16, которые используются при работе нейросетей. На каждом ускорителе доступно 48 ГБ видеопамяти. Можно запускать отдельные модели на разных устройствах либо распределять запросы между ними.
• AMD EPYC 9254 и 192 ГБ оперативной памяти обеспечивают работу серверных приложений, подготовку запросов и обработку результатов. Процессор располагает 24 ядрами, которые можно задействовать для сопутствующих вычислений.
• Samsung PM9A3 и Intel E810 отвечают за локальное хранение моделей и сетевые подключения. Два порта по 25 Гбит/с позволяют организовать передачу данных через соответствующую сетевую инфраструктуру.

Что учитывать: при выборе количества ускорителей нужно определить размер используемой модели, число одновременных запросов и допустимое время ответа. Две платы L40S имеют по 48 ГБ собственной памяти. Для распределения одной модели между ними потребуется соответствующая программная поддержка.

Сервер для инженерных расчетов

Задача: численное моделирование физических процессов и другие научные вычисления с использованием графических ускорителей.

Состав конфигурации

Почему выбраны эти комплектующие

• Два NVIDIA A100 поддерживают вычисления с двойной точностью FP64. Они применяются в научных и инженерных программах, где такой формат необходим для расчетов. Использование двух устройств возможно при поддержке со стороны расчетного приложения.
• AMD EPYC 9374F располагает 32 ядрами с базовой частотой 3,85 ГГц. Процессор можно задействовать для вычислений, которые выполняются на центральном процессоре. Оперативная память объемом 768 ГБ позволяет размещать крупные расчетные модели и промежуточные данные.
• Kioxia CM6-R и ConnectX-6 Dx предусмотрены для хранения результатов вычислений и обмена данными с внешними системами. Высокоскоростное сетевое подключение может быть полезно, когда расчетные данные поступают из общего хранилища.

Что учитывать: прежде всего нужно проверить, поддерживает ли расчетная программа выполнение вычислений на NVIDIA A100. Некоторые инженерные приложения используют GPU преимущественно для отображения результатов. В этом случае дополнительные ускорители не обеспечат соответствующего увеличения скорости расчетов.

Подбор конфигурации под проект

Перед подготовкой коммерческого предложения необходимо проверить совместимость компонентов, исполнение сервера, подключение накопителей, требования к питанию и охлаждению.

В CRABBIT можно подобрать сервер для задач искусственного интеллекта. Специалисты помогут определить состав оборудования, проверить совместимость и подготовить расчет стоимости под требования проекта.

Совместимость оборудования: важные моменты

При заказе ASUS ESC4000A-E12 важно проверить исполнение платформы, версию BIOS и возможность совместной установки комплектующих. От этих особенностей зависит, сколько накопителей получится подключить, какие платы расширения останутся доступны и сможет ли сервер работать при отказе одного блока питания.

Различия между SKU1 и SKU2

ASUS выпускает два основных варианта исполнения ESC4000A-E12. Оба оснащены шестью отсеками для дисков, однако количество подключений NVMe и использование линий PCIe различаются.

Что это означает при выборе:

SKU1 стоит рассматривать, когда достаточно четырех штатных подключений NVMe. ASUS также допускает установку двух дополнительных накопителей этого типа при использовании соответствующего контроллера RAID. Конкретную схему подключения нужно согласовать с поставщиком.

SKU2 позволяет использовать NVMe во всех шести отсеках. Однако дисковая подсистема занимает соединение PCIe x8, которое могло бы использоваться для другого оборудования.

Для подключения дисков SAS в обоих исполнениях необходим дополнительный контроллер HBA или RAID. Первый обеспечивает взаимодействие с накопителями, второй также может управлять дисковыми массивами.

Поддержка процессоров и оперативной памяти

При установке AMD EPYC 9005 необходимо учитывать дату изготовления платформы. ASUS указывает, что соответствующую версию BIOS можно установить на серверы, выпущенные начиная с мая 2025 года.

Перед закупкой нужно уточнить:

• Дату изготовления сервера.
• Поддержку выбранного процессора.
• Наличие подходящей версии BIOS.
• Совместимость модулей оперативной памяти.

Для процессоров AMD EPYC 9004 и 9005 производитель публикует отдельные версии BIOS. Выбирать и устанавливать их следует с учетом поколения процессора и исполнения системной платы.

Оперативную память также необходимо сверять с перечнем проверенных комплектующих ASUS. В нем указаны конкретные модели модулей, а их допустимые сочетания могут зависеть от процессора и версии BIOS.

Совместимость плат расширения

При размещении контроллера RAID, высокоскоростной сетевой платы и других устройств нужно заранее определить, какие разъемы будут заняты. Особое внимание требуется конфигурациям SKU2, где часть линий PCIe используется дисковой подсистемой.

Отдельный вопрос — питание графических ускорителей. ASUS предусматривает разные кабели для подключения плат NVIDIA. Тип разъема и требования к кабелю зависят от конкретной модели GPU.

При установке нескольких ускорителей также нужно проверить наличие подходящих креплений и компонентов системы охлаждения. Производитель указывает допустимые варианты установки в руководстве по эксплуатации.

Электропитание и резервирование

ASUS предусматривает два блока питания мощностью 2600 Вт каждый. Однако возможность работы по схеме 1+1 зависит от установленного оборудования.

Это особенно важно для конфигураций с NVIDIA H100 PCIe и L40S. Обе модели имеют максимальное энергопотребление 350 Вт. Их установка поддерживается сервером, однако резервирование питания 1+1 требует отдельного подтверждения со стороны ASUS.

На доступную мощность также влияет напряжение электросети.

Значения приведены для исполнения с воздушным охлаждением.

При расчете необходимо учитывать суммарное энергопотребление процессора, графических ускорителей, накопителей и остальных компонентов. Для сохранения резервирования вся система должна работать в пределах мощности одного блока питания.

Резервирование блоков питания защищает от отказа одного источника питания, но не решает все вопросы доступности вычислительной системы. Подробнее о требованиях к непрерывной работе рассказали в статье об отказоустойчивости серверов и СХД.

Совместимость с программным обеспечением

ASUS указывает поддержку Windows Server, Ubuntu, Red Hat Enterprise Linux, SUSE Linux Enterprise Server и VMware. При этом совместимость нужно проверять для конкретной версии операционной системы.

При использовании нескольких GPU нужно дополнительно убедиться, что программное обеспечение поддерживает выбранный способ распределения вычислений. Это особенно важно для обучения нейросетей и инженерных расчетов.

Размещение в серверной стойке

При установке оборудования следует проверить глубину шкафа, доступное пространство для кабелей и организацию вентиляции. Корпус ESC4000A-E12 имеет глубину 800 мм, поэтому необходимо учитывать и выступающие соединения на задней панели.

Значение имеет также допустимая нагрузка на монтажные направляющие и требования к распределению веса оборудования. Подробные критерии приведены в статье о выборе серверного шкафа.

Вопросы и ответы