Когда ИИ-проекту нужен сервер на 8 GPU

Сервер на 8 GPU может понадобиться для обучения крупных моделей ИИ и одновременной обработки большого количества запросов. Однако увеличение числа ускорителей не гарантирует пропорционального роста производительности. Результат зависит от требований задачи и того, как программа использует доступные ресурсы. Поэтому перед закупкой важно выяснить, сколько вычислительной мощности и видеопамяти действительно нужно проекту.

В этой статье:

• Для каких ИИ-задач используют 8 GPU
• Как понять, что 1–4 GPU уже недостаточно
• Один сервер на 8 GPU или два сервера по 4 GPU
• Какие характеристики важны для сервера на 8 GPU
• Что потребуется для установки и эксплуатации
• Примеры серверных платформ на 8 GPU
• Вопросы и ответы

Для каких ИИ-задач используют 8 GPU

Восемь графических ускорителей могут работать над одной вычислительной задачей или обслуживать несколько приложений одновременно. Рассмотрим, в каких проектах применяют такие серверы и какую работу выполняет оборудование.

Обучение крупных моделей ИИ

Создание нейросети с нуля требует большого объема вычислений. Во время обучения модель обрабатывает данные, сравнивает полученные результаты с ожидаемыми и постепенно изменяет свои параметры. Так называют числовые значения, которые определяют работу нейросети.

Чем крупнее модель, тем больше ресурсов может потребоваться для вычислений и хранения промежуточных результатов. Особенно высокие требования возникают при обучении больших языковых моделей, которые создают и анализируют тексты.

В таких проектах несколько GPU могут совместно выполнять одну задачу. Например, система распределяет между ними обработку обучающих данных или отдельные части модели. Это позволяет работать с вычислительными задачами, для которых ресурсов одного ускорителя недостаточно.

Дообучение готовых моделей

Компаниям не всегда требуется создавать нейросеть с нуля. Часто достаточно адаптировать существующую модель под определенные данные или процессы.

Например, производственное предприятие может дообучить систему распознавания изображений, чтобы она выявляла дефекты конкретных деталей. Другой пример — адаптация языковой модели для классификации обращений клиентов по внутренним категориям компании.

При полном дообучении программа обновляет все параметры нейросети. Такой процесс может потребовать значительного объема видеопамяти и вычислительных ресурсов.

Существуют и более экономные способы, при которых изменяется только небольшая часть параметров. Они позволяют сократить требования к оборудованию. Поэтому даже для крупной готовой модели восемь GPU требуются далеко не всегда.

Обработка большого количества запросов

После обучения нейросеть можно использовать в корпоративных приложениях. Например, ИИ-помощник ищет информацию в документах, отвечает на вопросы сотрудников или помогает службе поддержки обрабатывать обращения.

Когда приложением одновременно пользуется много людей, сервер должен выполнять больше вычислений. Если ресурсов недостаточно, пользователи могут дольше ждать ответа, а часть запросов будет накапливаться в очереди.

Для обслуживания высокой нагрузки систему можно распределить между несколькими GPU. В зависимости от программного обеспечения ускорители запускают отдельные копии модели или совместно обрабатывают обращения к одной крупной нейросети.

Здесь основная задача — обеспечить необходимую скорость работы приложения при ожидаемом количестве запросов.

Одновременная работа нескольких моделей

В одной компании могут использоваться разные системы искусственного интеллекта. Например, отдел продаж анализирует обращения клиентов, бухгалтерия извлекает данные из документов, а служба поддержки применяет собственную языковую модель.

Каждая система выполняет самостоятельные вычисления. Если приложения работают на одном сервере, им можно выделить разные GPU с учетом потребности в ресурсах.

Такой вариант позволяет разместить несколько ИИ-систем на общей вычислительной платформе. При этом ускорители могут выполнять независимые задачи, поэтому всем восьми устройствам необязательно участвовать в обработке одной модели.

Анализ видео и изображений

Графические ускорители также применяют в системах компьютерного зрения. Они помогают анализировать изображения, распознавать объекты и находить отклонения от заданных условий.

Например, на производстве нейросеть может проверять качество изделий по изображениям с камер. На складе аналогичная технология позволяет обнаруживать объекты и отслеживать их перемещение.

Особенность таких систем — необходимость обрабатывать последовательность кадров. Если приложение получает много видеопотоков, вычислительная нагрузка растет. Дополнительные GPU могут использоваться для параллельного анализа изображений с разных источников.

При этом требования зависят от сложности моделей, разрешения видео и допустимого времени обработки. Для небольшого количества камер или периодического анализа фотографий сервер на восемь ускорителей может оказаться избыточным.

Как понять, что 1–4 GPU уже недостаточно

Если обучение нейросети занимает слишком много времени или приложение не успевает обрабатывать запросы, дополнительные GPU могут помочь. Но сначала нужно выяснить причину ограничений. Программа может испытывать нехватку видеопамяти, долго ожидать поступления данных или недостаточно эффективно использовать доступные ускорители.

Оценить потребность в восьми GPU можно по результатам измерений на действующей системе или во время предварительных испытаний.

Как определить потребность в видеопамяти

Для начала выясните, сколько памяти занимает приложение во время работы. Важно измерить максимальное потребление, поскольку нагрузка может меняться в зависимости от обрабатываемых данных и настроек программы.

Обратите внимание на три показателя:

• Занятый объем видеопамяти. Показывает, сколько памяти использует программа на каждом ускорителе.
• Максимальное потребление. Помогает обнаружить нехватку памяти при наиболее сложных операциях.
• Ошибки выделения памяти. Могут указывать, что приложению не хватает доступного объема для выполнения задачи.

Есть важное ограничение: видеопамять нескольких GPU не всегда можно использовать как единое пространство. Например, при одном из распространенных способов параллельного обучения на каждом ускорителе хранится полная копия нейросети. Дополнительные устройства помогают быстрее обрабатывать обучающие данные, но объем памяти, доступный для одной копии модели, не увеличивается.

Если приложение упирается в объем видеопамяти, стоит также рассмотреть ускорители с большей емкостью памяти или другой способ организации вычислений. Установка восьми GPU не гарантирует решения такой проблемы.

Какие показатели производительности измерять

Потребность в вычислительных ресурсах оценивают по скорости выполнения реальной задачи. Набор показателей зависит от того, как компания использует ИИ.

При проверке корпоративного ИИ-помощника недостаточно измерить скорость ответа одному пользователю. Нужно посмотреть, что происходит, когда с приложением одновременно работает ожидаемое количество сотрудников.

Для обучения нейросети важнее оценить время выполнения одинакового объема вычислений. Это позволяет сравнить результаты на разных конфигурациях.

Как меняется производительность при добавлении GPU

Увеличение количества ускорителей может сократить время вычислений или позволить системе обрабатывать больше задач одновременно. Однако прирост зависит от того, насколько хорошо программа использует несколько устройств.

Например, четыре GPU выполняют определенный объем вычислений. При переходе на восемь часть работы распределяется между дополнительными ускорителями, но программе может потребоваться время на обмен результатами и согласование операций.

Из-за таких затрат удвоение числа GPU не гарантирует двукратного ускорения.

Кроме того, важно различать два результата:

• Ускорение одной задачи. Например, сокращение общего времени обучения нейросети.
• Рост общей производительности. Например, увеличение числа запросов, которые приложение обслуживает за секунду.

Для корпоративного ИИ-помощника может быть важнее второй показатель. Для обучения крупной модели — первый.

Поэтому при оценке дополнительного оборудования сначала определяют, какой именно результат требуется получить.

Сравнение конфигураций на 1, 2, 4 и 8 GPU

Эти условия служат ориентиром для испытаний. Например, четыре ускорителя с большим объемом видеопамяти могут лучше подходить для конкретной модели, чем восемь устройств с меньшей памятью.

Окончательное решение принимают по результатам работы приложения на выбранном оборудовании.

Как проверить, нужны ли проекту восемь GPU

Перед закупкой полезно провести испытания с той моделью и нагрузкой, которые планируется использовать.

1. Зафиксируйте требования. Определите допустимое время обучения или ответа приложения, ожидаемое количество одновременных запросов и объем данных.
2. Снимите показатели действующей системы. Запишите скорость выполнения задач, максимальное потребление видеопамяти и загрузку каждого GPU. Это поможет понять, где возникают ограничения.
3. Проверьте возможности программы. Выясните, использует ли она все доступные ускорители и можно ли улучшить результаты изменением настроек. Если основное время уходит на ожидание данных, увеличение числа GPU может оказаться бесполезным.
4. Сравните конфигурации. По возможности испытайте четыре и восемь одинаковых ускорителей. Сохраните одну модель, сопоставимый объем работы и одинаковые настройки, чтобы результаты можно было сравнить.
5. Оцените разницу. Проверьте, насколько сократилось время выполнения задачи или увеличилось количество обработанных запросов. Сопоставьте результаты с требованиями проекта.

Если четыре GPU не обеспечивают нужную скорость, а восемь позволяют достичь заданных показателей, выбор более крупной конфигурации получает техническое обоснование.

Когда испытать оба варианта невозможно, предварительную оценку проводят по данным действующей системы и результатам аналогичных измерений. В таком случае прогноз производительности потребуется подтвердить до окончательного согласования оборудования.

Один сервер на 8 GPU или два сервера по 4 GPU

Восемь графических ускорителей можно разместить в одном сервере или распределить между двумя машинами. Обе схемы подходят для ИИ-проектов, но возможности системы будут различаться.

Главный вопрос при выборе — как приложения используют вычислительные ресурсы. Одной крупной модели может потребоваться совместная работа всех восьми GPU. Для нескольких самостоятельных задач иногда удобнее выделить отдельные серверы.

Когда стоит выбрать один сервер на 8 GPU

Главный критерий — интенсивный обмен данными между ускорителями.

При обучении крупной языковой модели программа может распределять вычисления между всеми восемью GPU. Устройства регулярно передают друг другу промежуточные результаты. От скорости такого обмена зависит время выполнения задачи.

Единая платформа имеет несколько особенностей:

• Внутренние соединения. Ускорители взаимодействуют без передачи данных через сеть между отдельными серверами. На некоторых платформах предусмотрены специальные высокоскоростные соединения.
• Совместная работа. Все восемь GPU доступны в пределах одной физической системы, если программа поддерживает их использование.
• Управление оборудованием. Администратор обслуживает одну машину, хотя для нескольких приложений все равно может потребоваться настройка разделения ресурсов.

Пример. Компания обучает крупную языковую модель, части которой распределены между восемью ускорителями. Программа постоянно обменивается данными между GPU. В такой ситуации имеет смысл рассмотреть сервер с высокоскоростными внутренними соединениями.

Когда подходят два сервера по 4 GPU

Главный критерий — возможность разделить приложения и управлять ими независимо.

Предположим, компания использует две ИИ-системы. Одна анализирует корпоративные документы, другая обрабатывает обращения клиентов. Каждому приложению требуется четыре GPU.

В таком случае размещение на отдельных серверах дает несколько преимуществ:

• Разделение нагрузки. Каждая система использует собственные ускорители, процессоры и оперативную память.
• Независимое обслуживание. Один сервер можно остановить для обновления или ремонта, сохранив работу приложения на втором, если между ними нет общих зависимостей.
• Раздельное управление. Для приложений можно установить собственные настройки, права доступа и порядок обслуживания.

При этом два сервера способны совместно выполнять одну крупную вычислительную задачу. Для этого программное обеспечение должно поддерживать распределенную работу между машинами.

Основное ограничение: обмен данными между серверами проходит через сеть. Если задача требует постоянной передачи больших объемов информации, скорость соединения может влиять на производительность.

Несколько независимых приложений также можно разместить в одном сервере на 8 GPU. Поэтому физическое разделение имеет смысл, когда компании нужны самостоятельное обслуживание, управление или изоляция оборудования.

Что произойдет при отказе оборудования

Количество серверов влияет на последствия аппаратных неисправностей. Здесь важно различать три ситуации.

1. Все восемь GPU находятся в одном сервере

При полном отказе машины останавливаются выполнявшиеся на ней вычисления. Даже если приложения используют разные группы ускорителей, они зависят от общего оборудования.

2. На двух серверах работают независимые приложения

Если один узел выходит из строя, второй может продолжить работу. Например, неисправность сервера с системой анализа документов необязательно остановит приложение для обработки обращений.

При этом нужно учитывать общие зависимости: сетевую инфраструктуру, системы хранения данных и другие службы.

3. Одна задача использует оба сервера

При отказе любой машины общий вычислительный процесс может прерваться. Возможность восстановления зависит от программы.

Например, обучение модели можно продолжить с последнего сохраненного состояния, если система поддерживает такой механизм и необходимые данные сохранились.

Важно: установка двух серверов сама по себе не обеспечивает автоматического переключения нагрузки. Если приложение должно продолжать работу при отказе одного узла, это требование нужно учитывать отдельно.

Как выбранная схема влияет на расширение

Планы развития проекта тоже имеют значение. Здесь возможны два основных сценария.

Растет количество самостоятельных ИИ-приложений

Компания запускает новые системы для разных подразделений. В таком случае инфраструктуру можно расширять отдельными серверами. Новые задачи получают собственные вычислительные ресурсы без изменения оборудования действующих узлов.

Увеличивается нагрузка одной крупной модели

Если приложение уже использует все восемь GPU, дальнейшее расширение может потребовать еще одного сервера. Возможность объединить ускорители нескольких машин в общую вычислительную систему зависит от программного обеспечения и сетевой инфраструктуры.

Есть и финансовая сторона вопроса. У двух серверов собственные процессоры, оперативная память, системные накопители и блоки питания. Дополнительные расходы могут возникать на сетевое оборудование и обслуживание.

Поэтому стоимость вариантов нужно сравнивать по полному составу инфраструктуры с учетом дальнейшего расширения.

Критерии выбора архитектуры

Чтобы выбрать подходящую схему, сопоставьте требования проекта с возможностями каждого варианта.

Как принять окончательное решение

Для одной крупной модели с интенсивным обменом данными стоит прежде всего рассмотреть сервер на 8 GPU с подходящими внутренними соединениями.

Если компания использует несколько самостоятельных приложений, каждому из которых достаточно четырех ускорителей, два отдельных сервера могут упростить разделение ресурсов и обслуживание.

Когда подходят оба варианта, выбор следует подтвердить результатами испытаний и сравнением общей стоимости инфраструктуры.

Какие характеристики важны для сервера на 8 GPU

В сервере на восемь графических ускорителей каждый компонент влияет на работу вычислительной системы. GPU выполняют основные расчеты, процессоры подготавливают данные, память хранит необходимую информацию, а накопители и сетевые соединения обеспечивают ее передачу. Если один из компонентов не справляется с нагрузкой, возможности остальных могут использоваться не полностью.

Разберем основные характеристики, которые нужно учитывать при подборе оборудования.

Графические ускорители и видеопамять

Начать стоит с выбора модели GPU. Даже при одинаковом количестве ускорителей серверы могут значительно различаться по производительности и объему доступной памяти.

Основные характеристики для сравнения:

Последний пункт особенно важен при сравнении характеристик NVIDIA.

В документации встречаются обозначения FP16, BF16 и FP8. Они описывают форматы хранения и обработки чисел с разной точностью. FP16 и BF16 используют 16 бит, FP8 — 8 бит. Более компактные форматы позволяют уменьшить объем данных, однако их применение зависит от требований модели и поддержки со стороны оборудования и программ.

Поэтому заявленную производительность двух GPU нужно сравнивать для одинаковых числовых форматов и условий измерения.

Отдельно проверьте исполнение ускорителей. Например, NVIDIA выпускает GPU в вариантах PCIe и SXM. Они отличаются способом установки и требованиями к серверной платформе.

• PCIe — исполнение для установки в совместимые разъемы расширения.
• SXM — исполнение для специальных плат, предусмотренных конструкцией серверной системы.

Возможность установки конкретного ускорителя всегда нужно сверять со спецификацией платформы. Совпадение названия GPU еще не означает совместимость разных исполнений.

Как соединяются GPU: PCIe, NVLink и NVSwitch

Второй важный параметр — способ подключения ускорителей и передачи данных между ними.

В серверных системах NVIDIA применяются следующие технологии:

Например, платформы NVIDIA HGX H100 и HGX B200 на восемь GPU используют NVLink и NVSwitch. Благодаря такой архитектуре ускорители могут обмениваться данными через внутреннюю систему высокоскоростных соединений.

Однако поддержка NVLink предусмотрена далеко не у всех графических ускорителей. В некоторых серверах связь между GPU организована через PCIe.

Что важно выяснить: какие соединения доступны между всеми восемью устройствами и какую пропускную способность они обеспечивают. Это особенно существенно для программ, которые часто передают данные между ускорителями.

При этом характеристики соединений нужно проверять для конкретной платформы. Одинаковое количество GPU еще не означает одинаковые возможности их взаимодействия.

Процессоры и оперативная память

Центральные процессоры отвечают за задачи, которые выполняются вне GPU. Например, программа может использовать их для подготовки обучающих данных, управления вычислениями и обработки результатов.

Если процессоры не успевают выполнять такую работу, ускорителям приходится ожидать следующую порцию информации.

При подборе процессоров учитывают:

• Количество ядер. Влияет на возможности одновременного выполнения нескольких задач на центральном процессоре.
• Поддержку оперативной памяти. Важны число каналов памяти, поддерживаемые модули и скорость передачи данных.
• Возможности PCIe. Количество линий и поколение интерфейса определяют доступные варианты подключения компонентов.

Оперативная память хранит данные, с которыми работают процессоры. Ее объем зависит от размера обрабатываемых наборов данных, количества запущенных программ и способов подготовки информации для GPU.

Например, если система предварительно обрабатывает большой набор изображений на центральных процессорах, ей может потребоваться значительный объем оперативной памяти. При недостатке ресурсов программа начинает чаще обращаться к накопителям, что способно замедлить работу.

В двухпроцессорных системах также важно правильно распределить модули памяти по каналам. От схемы установки зависит доступная пропускная способность и скорость обращения процессоров к данным.

Практический вывод: процессоры и оперативную память подбирают по нагрузке приложения. Для сервера на восемь GPU нельзя определить необходимое количество процессорных ядер или объем ОЗУ только по числу ускорителей.

Накопители для моделей и данных

Дисковая подсистема хранит программы, обучающие наборы данных и результаты вычислений. При интенсивной работе с информацией важны скорость чтения и записи, емкость накопителей и задержки доступа.

Для таких задач часто используют твердотельные накопители NVMe, которые подключаются через PCIe.

В зависимости от назначения данные можно распределить следующим образом:

Сохраненные состояния содержат информацию, необходимую программе для возобновления обучения с определенного этапа. Объем таких файлов зависит от модели и состава сохраняемых данных.

Если основной набор информации находится во внешней СХД, локальные NVMe могут использоваться для временного хранения часто запрашиваемых файлов.

Когда скорость накопителей особенно важна: программа регулярно загружает данные, и время ожидания влияет на выполнение вычислений.

При этом быстрые диски сами по себе не гарантируют ускорения приложения. Сначала необходимо убедиться, что ограничение связано именно с чтением или записью информации.

Сетевые соединения

Сетевые адаптеры обеспечивают передачу данных между сервером и внешними системами. Через них оборудование может получать информацию из СХД, обмениваться результатами с приложениями и взаимодействовать с другими вычислительными узлами.

При подборе сетевого оборудования важны три характеристики:

• Пропускная способность. Определяет объем данных, который соединение способно передать за единицу времени.
• Задержка передачи. Показывает, сколько времени требуется для прохождения данных через сеть.
• Количество и тип портов. Определяют возможности подключения к существующей инфраструктуре.

Например, если сервер постоянно загружает обучающие данные из внешней СХД, скорость сетевого подключения должна соответствовать потребностям приложения и возможностям хранилища.

Для систем, которые выполняют распределенные вычисления на нескольких серверах, дополнительно важны характеристики соединений между вычислительными узлами.

При этом наличие восьми GPU само по себе не требует сетевого адаптера определенной скорости. Необходимые параметры выбирают по фактическому объему передачи данных и требованиям программного обеспечения.

Совместимость оборудования и программного обеспечения

После выбора компонентов нужно убедиться, что серверная платформа поддерживает их совместную работу.

Для систем с ускорителями NVIDIA особое значение имеет совместимость операционной системы, драйверов GPU, программных библиотек и CUDA.

CUDA — программная платформа NVIDIA, которая предоставляет средства для выполнения вычислений на графических ускорителях.

Например, приложение может использовать определенную версию CUDA и требовать поддержки конкретных возможностей GPU. При переходе на другое поколение ускорителей иногда необходимо обновить драйверы или библиотеки.

Перед согласованием конфигурации проверяют:

• Поддержку выбранных GPU серверной платформой.
• Совместимость операционной системы и драйверов.
• Требования приложения к CUDA и вычислительным библиотекам.
• Поддержку необходимых числовых форматов и вычислительных операций.
• Возможность использования всех восьми ускорителей в нужном режиме работы.

Если компания уже использует конкретное программное обеспечение, желательно заранее зафиксировать его версии. Так проще проверить совместимость до закупки.

Что указать в техническом задании

После выбора характеристик их нужно закрепить в спецификации. Она поможет сравнить предложения поставщиков и проверить состав оборудования.

Для окончательного подбора желательно указать и характеристики рабочей нагрузки: используемые модели ИИ, объем данных и необходимые показатели производительности.

Такая спецификация позволит проверить совместимость оборудования и сравнить серверные платформы по требованиям проекта.

Что потребуется для установки и эксплуатации

Перед закупкой сервера на 8 GPU стоит проверить возможности площадки, где он будет работать. Такое оборудование может потребовать отдельной подготовки электропитания, системы охлаждения и места в серверном шкафу. Объем работ зависит от характеристик выбранной платформы и состояния существующей инфраструктуры.

Разберем, какие условия нужно обеспечить до поставки и что контролировать после запуска.

Электропитание: как рассчитать необходимую мощность

Восемь графических ускорителей могут потреблять значительную электрическую мощность. При этом питание требуется и остальным компонентам сервера: процессорам, памяти, накопителям и вентиляторам.

Для расчета используют характеристики всей системы. Производитель указывает требования к питанию, допустимое входное напряжение, количество блоков питания и поддерживаемые схемы резервирования.

Перед установкой стоит оценить следующие параметры:

Отдельного внимания заслуживает резервирование. Некоторые платформы способны продолжать работу после отказа части блоков питания, но могут ограничивать мощность, доступную ускорителям. Это влияет на скорость вычислений.

Если проект предусматривает независимые источники электропитания, необходимо проверить, как оборудование распределяет нагрузку между ними и какие режимы сохраняются при отключении одного источника.

Охлаждение: какие условия нужны серверу

Во время работы оборудование выделяет тепло. Система охлаждения должна отводить его с учетом нагрузки остальных серверов в помещении.

Если температура компонентов превышает допустимые значения, система может снижать их рабочие частоты. При более серьезных нарушениях возможны защитное отключение или остановка вычислений.

При подготовке серверной обращают внимание на три условия.

Холодопроизводительность системы охлаждения

Ее должно хватать для отвода тепла от нового оборудования вместе с уже установленными серверами. Для расчета используют характеристики конкретной платформы и учитывают возможную одновременную нагрузку.

Движение воздуха

В большинстве серверов с воздушным охлаждением холодный воздух поступает спереди, а нагретый выходит сзади. Чтобы избежать повторного попадания горячего воздуха на вход оборудования, в серверных помещениях организуют разделение холодных и горячих воздушных потоков.

При установке важно сохранить свободное пространство для вентиляции. Кабели и другие компоненты не должны перекрывать предусмотренные производителем пути движения воздуха.

Температура и влажность

Оборудование должно работать в допустимых условиях. Производители задают диапазоны температуры и влажности, иногда с дополнительными ограничениями для отдельных конфигураций.

Температуру следует контролировать прежде всего в местах поступления воздуха в сервер. Показания датчика на стене помещения могут отличаться от условий внутри серверного шкафа.

А если сервер использует жидкостное охлаждение?

Для таких систем потребуется соответствующая инфраструктура отвода тепла. Ее состав зависит от конструкции оборудования: возможны дополнительные трубопроводы, теплообменники, средства контроля утечек и другие элементы.

Тип охлаждения и требования к его подключению следует выяснить еще на этапе выбора платформы.

Размещение в серверном шкафу

Серверы на восемь ускорителей могут занимать несколько монтажных единиц и иметь значительную массу. Поэтому свободного места по высоте недостаточно для подтверждения совместимости со шкафом.

Перед размещением оборудования проверьте:

• Габариты корпуса. Шкаф должен подходить по высоте и глубине с учетом кабелей и необходимого пространства для обслуживания.
• Массу оборудования. Направляющие, шкаф и основание должны выдерживать предусмотренную нагрузку.
• Совместимость креплений. Монтажный комплект должен подходить к конструкции шкафа.
• Удобство обслуживания. Специалистам потребуется доступ к подключению питания, сетевым кабелям и заменяемым компонентам.
• Путь доставки. Габариты и масса сервера должны позволять безопасно переместить его через дверные проемы, коридоры и другие участки до места установки.

Для тяжелых серверных платформ также оценивают допустимую нагрузку на пол. Это особенно важно для помещений с фальшполом, где оборудование размещают на специальных конструкциях.

Есть и требования безопасности. Шкаф должен сохранять устойчивость при монтаже и обслуживании, а тяжелое оборудование размещают с учетом инструкций производителя. Для некоторых систем может потребоваться специальное подъемное оборудование.

Ввод в эксплуатацию: что проверить после монтажа

После установки необходимо проверить исправность оборудования и работу инженерных систем. Для этого проводят первоначальную диагностику, а затем испытания под вычислительной нагрузкой.

Во время испытаний полезно наблюдать за температурой ускорителей, состоянием вентиляторов и потреблением электроэнергии. Это позволяет выявить проблемы, которые могут не проявляться при простом включении оборудования.

Отдельно проверяют требования производителя к установке. Некоторые готовые вычислительные системы предусматривают монтаж и первоначальную настройку силами уполномоченных специалистов. Нарушение установленного порядка может повлиять на условия обслуживания и гарантии.

После завершения испытаний результаты фиксируют. Они пригодятся для последующего сравнения состояния оборудования и поиска причин неисправностей.

Что контролировать во время эксплуатации

После запуска важно отслеживать техническое состояние сервера. Для этого используют встроенные средства управления оборудованием и программы диагностики GPU.

Основные показатели:

• Температуры компонентов. Помогают обнаружить перегрев или ухудшение охлаждения.
• Состояние блоков питания и вентиляторов. Позволяет выявлять неисправности до полной остановки системы.
• Потребляемая мощность. Показывает текущую электрическую нагрузку и помогает обнаруживать ограничения питания.
• Аппаратные ошибки GPU. Дают сведения о неисправностях памяти ускорителей, соединений и других подсистем.
• Состояние сервера. Включает предупреждения контроллера управления, сообщения об отказах и события, требующие вмешательства специалиста.

Для постоянного наблюдения можно настроить автоматические уведомления о критических событиях. Тогда ответственный специалист получит сообщение при выходе контролируемого параметра за допустимые пределы.

Обновления тоже требуют планирования. Перед установкой новой версии встроенного программного обеспечения или драйверов проверяют совместимость и требования производителя. Для систем с длительными вычислительными задачами обновления желательно проводить в согласованные периоды обслуживания.

Порядок замены компонентов зависит от возможностей оборудования. Даже если производитель допускает горячую замену отдельных модулей, сотрудники должны соблюдать установленную процедуру.

Что учесть в бюджете на подготовку площадки

Стоимость установки сервера может включать дополнительные работы, если существующее помещение не соответствует требованиям оборудования.

Например, могут понадобиться новые электрические линии, увеличение мощности охлаждения, другой серверный шкаф или изменение схемы размещения оборудования.

Поэтому до согласования закупки стоит сопоставить технические требования выбранной платформы с возможностями площадки. Результат такой проверки поможет определить объем подготовки помещения и учесть связанные расходы в бюджете проекта.

Примеры серверных платформ на 8 GPU

Для восьми графических ускорителей выпускают как готовые вычислительные системы, так и серверы с несколькими вариантами оснащения. Они различаются поддерживаемыми GPU, процессорами, объемом памяти и устройством охлаждения.

Рассмотрим четыре реальные модели и особенности, которые стоит учитывать при выборе.

NVIDIA DGX H100 — готовая вычислительная система

NVIDIA DGX H100 поставляется с установленными ускорителями H100, процессорами, памятью, накопителями и программной средой DGX OS. Производитель заранее определяет основные компоненты и схему их взаимодействия.

Характеристики NVIDIA DGX H100

Чем отличается DGX H100

Главная особенность — заранее определенный состав оборудования и программных средств NVIDIA.

Система включает DGX OS, драйверы GPU и средства наблюдения за состоянием оборудования. Это позволяет использовать единый набор программ NVIDIA для управления вычислительной системой.

Для обмена данными между ускорителями предусмотрены NVLink и NVSwitch. Сеть на адаптерах ConnectX-7 позволяет подключать DGX H100 к внешним хранилищам и объединять несколько систем для распределенных вычислений.

Когда рассматривать: если проект предусматривает использование NVIDIA H100 и компании подходит готовая система с программными средствами производителя.

Возможности изменения аппаратной конфигурации ограничены конструкцией DGX H100. Для перехода на ускорители другого поколения нужно рассматривать поддерживаемые производителем решения.

Dell PowerEdge XE9680 — выбор между NVIDIA, AMD и Intel

Dell PowerEdge XE9680 рассчитан на восемь вычислительных ускорителей и выпускается в нескольких исполнениях. Платформа поддерживает оборудование разных производителей, что позволяет выбирать конфигурацию с учетом используемых программ.

Характеристики Dell PowerEdge XE9680

Чем отличается Dell XE9680

Модель позволяет выбирать между несколькими семействами ускорителей. При этом каждая конфигурация имеет собственные требования к аппаратной части и программному обеспечению.

Например, NVIDIA H100 и H200 используют NVLink для обмена данными между GPU. В исполнении с AMD Instinct MI300X применяется AMD Infinity Fabric, а Intel Gaudi 3 использует другую архитектуру соединений.

Есть различия и в подсистеме хранения. В частности, для конфигурации с Intel Gaudi 3 предусмотрены только восемь накопителей 2,5 дюйма NVMe. Вариант с 16 E3.S для нее не поддерживается.

Когда рассматривать: если компания выбирает вычислительную платформу под определенное семейство ускорителей или сравнивает решения NVIDIA, AMD и Intel.

Важно учитывать, что поддержка разных GPU означает наличие отдельных исполнений XE9680. Она не гарантирует возможность заменить ускорители одного производителя на другие в уже приобретенном сервере.

Supermicro SYS-822GS-NBRT — платформа на NVIDIA B200

Supermicro SYS-822GS-NBRT построен на базе NVIDIA HGX B200. В сервере установлены восемь ускорителей Blackwell, объединенных через NVLink и NVSwitch.

Характеристики Supermicro SYS-822GS-NBRT

Чем отличается Supermicro SYS-822GS-NBRT

Платформа сочетает ускорители B200 с возможностью установки большого объема оперативной памяти. Каждый GPU оснащен 180 ГБ HBM3e, а сервер поддерживает до 8 ТБ DDR5 при использовании соответствующих модулей.

В отличие от систем на H100, модель использует процессоры Intel Xeon серий 6700/6500. Для накопителей предусмотрены восемь отсеков E1.S NVMe и два разъема M.2.

Еще одна особенность — воздушное охлаждение. Оно позволяет использовать систему без подключения жидкостного контура, если серверная площадка обеспечивает необходимый отвод тепла.

Когда рассматривать: для проектов, которым требуются восемь NVIDIA B200, высокая емкость оперативной памяти и сервер с воздушным охлаждением.

При подборе нужно учитывать корпус высотой 8U и максимальную поддерживаемую комплектацию памяти. Заявленные 8 ТБ доступны при определенной схеме установки модулей.

Lenovo ThinkSystem SR780a V3 — восемь GPU с жидкостным охлаждением

Lenovo ThinkSystem SR780a V3 поддерживает конфигурации с NVIDIA H100, H200 и B200. Платформа отличается системой охлаждения: основные тепловыделяющие компоненты охлаждаются жидкостью.

Характеристики Lenovo ThinkSystem SR780a V3

Чем отличается Lenovo SR780a V3

В сервере используется система Lenovo Neptune. Жидкость отводит тепло от процессоров, ускорителей и коммутаторов NVLink. Остальные компоненты охлаждаются вентиляторами.

Благодаря такой конструкции восемь GPU размещаются в корпусе высотой 5U. Для сравнения, рассмотренный Supermicro SYS-822GS-NBRT с воздушным охлаждением занимает 8U.

Однако жидкостная система предъявляет дополнительные требования к серверной площадке. Для SR780a V3 необходимо предусмотреть совместимый контур охлаждения, его подключение и обслуживание.

Когда рассматривать: если проект предусматривает NVIDIA H100, H200 или B200, а площадка рассчитана на размещение оборудования с жидкостным охлаждением.

Конкретное поколение GPU выбирается в составе поддерживаемого исполнения сервера. Возможность последующей замены ускорителей требует отдельного подтверждения производителя.

Сравнение серверных платформ на 8 GPU

Основные различия между рассмотренными моделями связаны с поддерживаемыми ускорителями, составом оборудования и требованиями к размещению.

По одному количеству ускорителей или объему видеопамяти определить подходящую модель нельзя. Например, Dell XE9680 предлагает несколько вариантов GPU, тогда как Supermicro SYS-822GS-NBRT рассчитан на NVIDIA B200. Lenovo SR780a V3 позволяет выбрать поколение ускорителей, но требует жидкостного охлаждения.

Если несколько платформ соответствуют техническому заданию, их стоит сравнить по поддерживаемым конфигурациям, условиям эксплуатации и полной стоимости закупки.

Специалисты CRABBIT помогут проверить совместимость компонентов, сравнить подходящие варианты и подготовить спецификацию сервера для ИИ-проекта.

Вопросы и ответы