NVIDIA RTX PRO 6000 Blackwell для ИИ: характеристики, задачи и ограничения

NVIDIA RTX PRO 6000 Blackwell оснащена 96 ГБ видеопамяти и подходит для ряда задач искусственного интеллекта, включая запуск и дообучение нейросетей. Ее можно использовать в рабочих станциях и серверах, но возможности зависят от требований конкретной нагрузки. Разберем, для каких задач стоит выбрать RTX PRO 6000, какие у нее ограничения и что учитывать при подборе оборудования.

Что такое NVIDIA RTX PRO 6000 Blackwell

NVIDIA RTX PRO 6000 Blackwell — семейство профессиональных графических ускорителей на архитектуре Blackwell. Их используют для вычислений в области искусственного интеллекта, научных исследований и трехмерной графики. Линейка включает исполнения для рабочих станций и серверов.

Графический ускоритель помогает компьютеру выполнять множество математических операций параллельно. Такой способ обработки особенно полезен для нейросетей, которые многократно проводят расчеты над большими массивами чисел. Центральный процессор управляет выполнением программы и работой системы, а графический берет на себя вычисления, подходящие для параллельной обработки.

Для компаний RTX PRO 6000 представляет интерес как компонент собственной вычислительной инфраструктуры. Организация может разместить систему искусственного интеллекта на своем оборудовании и выполнять обработку данных внутри корпоративной сети. Для этого потребуется совместимое программное обеспечение и правильно настроенная вычислительная среда.

При планировании ИИ-проекта стоит также оценить расходы на оборудование и аренду вычислительных ресурсов. Подробнее об этом — в статье GPU-сервер для машинного обучения: аренда или покупка.

Технические характеристики

Для работы с ИИ важны вычислительная производительность графического процессора, объем видеопамяти и скорость передачи данных. По этим параметрам можно предварительно оценить возможности ускорителя. Фактическая скорость вычислений зависит от особенностей нейросети и программного обеспечения.

В характеристиках встречаются обозначения FP4, FP8, FP16 и FP32. FP — формат представления чисел с плавающей запятой. Компьютер использует его для записи дробных, очень больших и очень маленьких значений. Цифра указывает, сколько бит занимает одно число: FP4 — 4 бита, FP8 — 8 бит, FP16 — 16 бит, FP32 — 32 бита. Чем меньше разрядность, тем меньше памяти требуется для хранения данных, но тем ниже точность представления чисел.

В таблице приведены характеристики NVIDIA RTX PRO 6000 Blackwell Workstation Edition. У других исполнений семейства часть показателей отличается.

Вычислительные ядра и архитектура Blackwell

Графический процессор содержит два типа вычислительных ядер, которые выполняют разные операции.

Ядра CUDA отвечают за математические расчеты общего назначения. Они обрабатывают данные, выполняют вычисления для машинного обучения, научных исследований и работы с изображениями.

Тензорные ядра пятого поколения ускоряют операции с матрицами — наборами чисел, организованными в строки и столбцы. Нейросети используют такие операции для обработки информации. Специализированные ядра выполняют поддерживаемые матричные вычисления быстрее и эффективнее обычных вычислительных блоков.

Архитектура Blackwell поддерживает вычисления FP4. Использование четырехбитного представления позволяет сократить объем памяти для хранения параметров нейросети. При поддержке со стороны программного обеспечения такой формат также помогает ускорить вычисления.

Однако уменьшение разрядности может повлиять на точность результатов. Поэтому перед использованием FP4 необходимо проверить, поддерживает ли нейросеть такой формат и сохраняет ли она требуемое качество работы.

Видеопамять 96 ГБ GDDR7 ECC

Видеопамять хранит параметры нейросети, входные данные и промежуточные результаты расчетов. Графический процессор обращается к ней во время вычислений.

Объем 96 ГБ позволяет размещать крупные модели и обрабатывать значительные массивы данных. Однако вся память не может использоваться исключительно для параметров нейросети. Часть пространства занимают промежуточные результаты, служебные данные и программное обеспечение.

RTX PRO 6000 использует память GDDR7 с поддержкой ECC (Error-Correcting Code). ECC — механизм обнаружения и исправления определенных ошибок памяти. Он помогает предотвратить искажение данных из-за случайных ошибок при их хранении. Это особенно полезно при продолжительных вычислениях, когда важно сохранить корректность результатов.

Еще одна характеристика — пропускная способность памяти. Она показывает, сколько данных графический процессор теоретически может получить из видеопамяти или записать в нее за секунду.

У Workstation Edition показатель достигает 1792 ГБ/с при ширине шины 512 бит. Шина определяет количество бит, которые можно передать за один цикл работы интерфейса памяти. Пропускная способность зависит от ее ширины и скорости передачи данных.

Если программа постоянно обращается к большим массивам чисел, скорость работы памяти может ограничивать производительность вычислений. Поэтому при оценке ускорителя важно учитывать как объем GDDR7, так и пропускную способность.

Производительность в задачах ИИ

Для RTX PRO 6000 Blackwell Workstation Edition NVIDIA заявляет пиковую производительность до 4000 TOPS. Один TOPS соответствует триллиону операций в секунду.

Показатель рассчитан для FP4 с использованием разреженности. Разреженность означает, что часть числовых элементов имеет нулевые значения. При определенных условиях ускоритель может пропускать операции с такими элементами и выполнять расчеты быстрее.

Значение 4000 TOPS характеризует теоретическую производительность в заданном режиме. Фактическая скорость будет зависеть от того, насколько эффективно нейросеть использует вычислительные возможности устройства.

В спецификации также указана производительность до 125 Тфлопс для FP32. Один Тфлопс соответствует триллиону операций с числами с плавающей запятой в секунду. Здесь речь идет о вычислениях с 32-битной точностью. Показатели FP32 и FP4 отражают разные режимы работы, поэтому сравнивать их напрямую некорректно.

На практическую производительность влияют несколько факторов:

• Формат вычислений. FP4, FP8, FP16 и FP32 различаются точностью представления чисел и требованиями к памяти. Ускорение при меньшей разрядности зависит от поддержки конкретных операций.
• Особенности нейросети. Разные модели выполняют неодинаковое количество математических операций и по-разному используют вычислительные ресурсы.
• Программное обеспечение. Библиотеки и средства выполнения расчетов должны поддерживать возможности архитектуры Blackwell.
• Характер нагрузки. Объем входных данных и количество одновременно обрабатываемых запросов влияют на использование памяти и вычислительных ядер.

Поэтому заявленные 4000 TOPS нельзя напрямую перевести в количество ответов языковой модели за секунду или продолжительность ее дообучения. Для оценки реальной скорости нужны испытания с конкретной нейросетью и выбранными условиями работы.

Для каких задач ИИ подходит RTX PRO 6000

Ускоритель можно использовать для запуска готовых нейросетей, их дообучения, генерации изображений и видео. Он также подходит для корпоративных ИИ-систем, которые работают с внутренними документами. Рассмотрим конкретные модели и задачи, для которых можно применять RTX PRO 6000.

Запуск больших языковых моделей

Большие языковые модели (LLM) обрабатывают текст, отвечают на вопросы, составляют документы и помогают писать программный код. Работу уже обученной нейросети без изменения ее параметров называют инференсом.

На RTX PRO 6000 можно запускать модели разного размера. Рассмотрим два примера.

Google Gemma 4 31B-it — языковая модель, которая работает с текстом и изображениями. Она может анализировать документы, отвечать на вопросы и помогать с программированием. Файлы ее весов в 16-битном представлении занимают около 63 ГБ. Это позволяет рассматривать запуск на одной RTX PRO 6000 с 96 ГБ видеопамяти. При этом часть памяти потребуется для обработки запросов и работы программы.

OpenAI gpt-oss-120b — модель с примерно 117 млрд параметров, предназначенная для задач, требующих рассуждений, анализа информации и программирования. Разработчик предусматривает ее запуск на одном ускорителе с 80 ГБ памяти, например NVIDIA H100. Для этого используется MXFP4 — специальный четырехбитный формат хранения параметров, который сокращает расход памяти. RTX PRO 6000 также имеет достаточный объем видеопамяти для рассмотрения такого сценария, но совместимость и скорость работы необходимо проверить отдельно.

Еще один важный показатель — длина контекста. Это объем текста, который нейросеть может учитывать при обработке запроса. Например, при анализе большого документа или продолжительного диалога программа должна хранить дополнительную информацию о ранее обработанном тексте.

Если системой одновременно пользуются несколько сотрудников, потребность в памяти также возрастает. Поэтому успешный запуск модели еще не означает, что она сможет быстро обслуживать большое количество пользователей. Для такой оценки необходимо проверить скорость формирования ответов при ожидаемой нагрузке.

Дообучение нейросетей

Готовую языковую модель можно адаптировать под задачи компании. Например, научить ее распределять обращения клиентов по категориям, извлекать сведения из технических текстов или формировать ответы в заданном формате.

Для этого разработчики подготавливают набор примеров и проводят дообучение. В процессе система изменяет часть или все параметры нейросети, чтобы улучшить результаты на выбранных задачах.

Один из способов сократить расход вычислительных ресурсов — LoRA (Low-Rank Adaptation), метод дообучения с помощью дополнительных небольших наборов параметров. Основные параметры исходной модели остаются неизменными, а обучение затрагивает только добавленные элементы.

Например, Google Gemma 4 можно адаптировать для классификации технических обращений. Разработчики могут подготовить примеры заявок с правильными категориями и использовать их для дообучения с LoRA. Google поддерживает такой подход для семейства Gemma, но требования к памяти нужно рассчитывать для конкретной версии и настроек обучения.

LoRA позволяет уменьшить объем вычислений по сравнению с полным дообучением. Однако исходную нейросеть и промежуточные результаты все равно нужно размещать в памяти. Поэтому возможность работы на одной RTX PRO 6000 зависит от размера модели, длины обучающих примеров и выбранных настроек.

Обучение с нуля требует значительно больше ресурсов. Разработчикам приходится обрабатывать большие наборы данных и многократно обновлять параметры нейросети. Для создания крупных языковых моделей обычно используют вычислительные системы с несколькими ускорителями.

Генерация изображений и видео

Графические ускорители также применяют для создания изображений по текстовому описанию, редактирования готовых материалов и генерации видеороликов.

Примеры нейросетей для таких задач:

• FLUX.2 [klein] 4B — модель Black Forest Labs для создания и редактирования изображений. Поддерживает генерацию по текстовому описанию и изменение готовых материалов. Распространяется по лицензии Apache 2.0, которая допускает коммерческое использование.
• Stable Diffusion 3.5 Large — модель Stability AI для создания изображений по текстовым запросам. Подходит для подготовки иллюстраций и визуальных материалов. Условия коммерческого использования зависят от годовой выручки организации и действующей лицензии.
• Wan2.2-T2V-A14B — модель для создания видео по текстовому описанию. Разработчики предусматривают запуск на одном ускорителе с видеопамятью от 80 ГБ при определенных настройках и переносе части данных в оперативную память. RTX PRO 6000 можно рассматривать для такой задачи после проверки совместимости.

В компаниях подобные инструменты могут использовать дизайнеры, архитекторы и специалисты по рекламе. Например, для подготовки иллюстраций, предварительной визуализации проектов и создания коротких видеоматериалов.

Требования к оборудованию различаются в зависимости от модели. FLUX.2 [klein] 4B может работать и на ускорителях с гораздо меньшим объемом памяти. Для Wan2.2-T2V-A14B потребность в ресурсах значительно выше.

На время создания изображения влияют разрешение и настройки генерации. При работе с видео имеют значение также количество кадров и длительность ролика.

Поэтому для оценки производительности лучше использовать конкретную задачу: сколько изображений заданного разрешения нужно создавать за определенное время или сколько занимает подготовка видеоролика нужного качества. Такие испытания помогут определить, подходит ли ускоритель для планируемой нагрузки.

Корпоративные ИИ-системы с собственными данными

Компания может использовать языковую модель для поиска информации во внутренних документах. Например, сотрудник задает вопрос о порядке настройки оборудования, а система находит нужные сведения в технических инструкциях и составляет ответ.

Для таких задач применяют RAG (Retrieval-Augmented Generation) — метод формирования ответов с использованием информации из подключенных источников.

Работает он следующим образом:

1. Сотрудник задает вопрос по внутренней документации.
2. Поисковая система находит подходящие фрагменты инструкций, регламентов или других материалов.
3. Языковая модель получает найденные сведения и формирует ответ с учетом содержания документов.

Так можно создать помощника для технической поддержки, поиска по базе знаний или работы с внутренними инструкциями.

Главное преимущество RAG — возможность обновлять информацию без постоянного дообучения нейросети. Когда компания изменяет инструкцию или добавляет документ, достаточно обновить данные, доступные поисковой системе.

RTX PRO 6000 выполняет вычисления языковой модели, которая формирует ответы. За хранение документов, поиск информации и разграничение доступа отвечают другие программные компоненты.

RTX PRO 6000 Workstation, Max-Q и Server Edition: различия версий

NVIDIA выпускает RTX PRO 6000 Blackwell в трех исполнениях: Workstation Edition, Max-Q Workstation Edition и Server Edition. Все они оснащены 96 ГБ видеопамяти GDDR7 ECC и используют архитектуру Blackwell. Основные различия связаны с производительностью, энергопотреблением, конструкцией и охлаждением.

Производительность FP32 показывает теоретическую скорость вычислений с 32-битными числами. Для оценки работы конкретной нейросети необходимо учитывать и другие параметры, включая используемый числовой формат.

RTX PRO 6000 Workstation Edition

Workstation Edition предназначена для профессиональных рабочих станций, где основную вычислительную нагрузку выполняет один графический ускоритель. Такое исполнение подходит разработчикам ИИ, которые запускают и испытывают нейросети на отдельном компьютере.

Видеокарта использует систему воздушного охлаждения со сквозным потоком. Вентиляторы направляют воздух через радиатор и отводят тепло от графического процессора. Поэтому корпус рабочей станции должен обеспечивать достаточный приток и отвод воздуха.

По сравнению с Max-Q стандартная версия имеет более высокую пиковую вычислительную производительность, но потребляет больше электроэнергии.

Workstation Edition имеет смысл выбирать для рабочей станции, где приоритетом остается производительность одного ускорителя, а система питания и охлаждения рассчитана на такую нагрузку.

RTX PRO 6000 Max-Q Workstation Edition

Max-Q разработана для рабочих станций, в которых требуется разместить несколько графических ускорителей. NVIDIA предусматривает конфигурации с количеством таких видеокарт до четырех.

Главное отличие Max-Q — сниженное энергопотребление. При максимальной мощности 300 Вт ускоритель сохраняет 96 ГБ видеопамяти, но уступает стандартной Workstation Edition по пиковой вычислительной производительности.

Видеокарта оснащена собственной системой воздушного охлаждения. Более компактная конструкция позволяет производителям рабочих станций размещать несколько устройств в одном корпусе при соблюдении требований к питанию и отводу тепла.

Такой вариант подходит, например, для одновременного запуска нескольких независимых задач ИИ. Разработчики могут выполнять вычисления на разных ускорителях в пределах одной рабочей станции.

Если программа использует несколько видеокарт для обработки одной модели, она должна поддерживать распределение вычислений. Память отдельных ускорителей автоматически не превращается в единый общий объем.

Max-Q стоит рассматривать, когда важны количество установленных видеокарт, суммарные вычислительные ресурсы и ограничения по энергопотреблению.

RTX PRO 6000 Server Edition

Server Edition предназначена для серверных платформ и центров обработки данных. Производители оборудования используют ее в системах с одним или несколькими графическими ускорителями.

Основное конструктивное отличие заключается в охлаждении. Версия для воздушного охлаждения оснащена пассивным радиатором без собственных вентиляторов. Воздух через него направляет система охлаждения сервера. Поэтому обычного размещения видеокарты в корпусе недостаточно: сервер должен обеспечивать необходимый воздушный поток.

NVIDIA также выпускает исполнение для жидкостного охлаждения. Оно рассчитано на серверные системы с соответствующей конструкцией и оборудованием для отвода тепла.

Еще одна особенность Server Edition — возможность настройки потребляемой мощности в пределах 400–600 Вт. Производитель серверной платформы может использовать подходящий режим с учетом допустимого энергопотребления и возможностей охлаждения. При снижении ограничения мощности вычислительная производительность также может уменьшаться.

Серверное исполнение предназначено для централизованной работы ИИ-приложений. Например, компания может разместить языковую модель на сервере, к которому сотрудники обращаются через корпоративную сеть.

При выборе Server Edition необходимо учитывать совместимость с конкретной серверной платформой. Поддержку ускорителя проверяют по документации производителя сервера, поскольку конструкция корпуса, система охлаждения и допустимая мощность определяют возможность его установки.

Сравнение с другими ускорителями для ИИ

При выборе графического ускорителя для искусственного интеллекта стоит рассмотреть альтернативы RTX PRO 6000 Blackwell. Например, GeForce RTX 5090 тоже использует архитектуру Blackwell, а серверная NVIDIA H100 предназначена для обучения и запуска нейросетей. Однако различия в устройстве памяти, поддерживаемых вычислениях и способах объединения ускорителей влияют на их применение.

RTX PRO 6000 и RTX 5090

GeForce RTX 5090 можно использовать для разработки нейросетей, генерации изображений и запуска языковых моделей. Как и профессиональная RTX PRO 6000, она оснащена тензорными ядрами пятого поколения и поддерживает FP4.

Для сравнения возьмем RTX PRO 6000 Blackwell Workstation Edition.

Главное преимущество RTX PRO 6000 — втрое больший объем видеопамяти. Если нейросети требуется более 32 ГБ, RTX 5090 не сможет полностью разместить ее параметры и рабочие данные без уменьшения расхода памяти или переноса части информации в оперативную память компьютера.

У RTX PRO 6000 больше возможностей для размещения крупных моделей на одном устройстве. Это особенно важно, когда уменьшение разрядности параметров нежелательно или программа потребляет значительный объем памяти при обработке запросов.

При этом обе видеокарты имеют одинаковую заявленную пропускную способность GDDR7. Если нейросеть полностью помещается в 32 ГБ и эффективно использует вычислительные ресурсы GeForce, увеличение объема памяти само по себе не ускорит ее работу.

RTX PRO 6000 также поддерживает коррекцию ошибок ECC и относится к профессиональной линейке NVIDIA. Производитель выпускает для нее драйверы и предусматривает поддержку профессиональных приложений. Совместимость с конкретной программой и условия сопровождения необходимо проверять отдельно.

Что выбрать? GeForce RTX 5090 стоит рассматривать для разработки, испытаний и работы с нейросетями, которым достаточно 32 ГБ видеопамяти. RTX PRO 6000 подходит для более требовательных к памяти моделей и проектов, где нужны возможности профессионального ускорителя.

RTX PRO 6000 и NVIDIA H100

H100 создана на архитектуре Hopper и предназначена для серверных вычислений, включая обучение и запуск нейросетей. Она использует память HBM с высокой пропускной способностью и поддерживает технологию NVLink для обмена данными между ускорителями.

Для корректного сравнения возьмем RTX PRO 6000 Blackwell Server Edition и H100 PCIe с 80 ГБ памяти.

Здесь различия уже существеннее.

Объем памяти. RTX PRO 6000 располагает 96 ГБ GDDR7, а H100 PCIe — 80 ГБ HBM2e. Дополнительные 16 ГБ могут оказаться полезными, если модель не помещается целиком в память H100. При этом HBM2e обеспечивает более высокую пропускную способность. Это важно для вычислений, при которых скорость чтения и записи данных ограничивает производительность.

Точность вычислений. Blackwell поддерживает аппаратные тензорные вычисления FP4. H100 использует архитектуру Hopper с поддержкой FP8, но без специализированных тензорных вычислений FP4. Если программа эффективно работает с четырехбитным форматом, RTX PRO 6000 может получить преимущество. Для других числовых форматов соотношение производительности будет зависеть от конкретной нейросети.

Объединение ускорителей. H100 PCIe поддерживает NVLink — технологию высокоскоростного обмена данными между графическими процессорами. С ее помощью можно соединить два совместимых ускорителя в поддерживаемой серверной системе.

Это полезно, когда одна нейросеть выполняет распределенные вычисления на нескольких устройствах и должна часто передавать данные между ними. Для работы потребуется программное обеспечение, которое поддерживает такое распределение.

RTX PRO 6000 Server Edition не поддерживает NVLink. Несколько таких ускорителей могут работать в одном сервере, но обмен данными между ними организуется через PCIe. При интенсивном взаимодействии графических процессоров разница в способах подключения может заметно влиять на скорость вычислений.

У H100 также существует исполнение SXM с другими характеристиками памяти и возможностями соединения ускорителей. Поэтому результаты испытаний H100 SXM нельзя напрямую переносить на H100 PCIe.

Что выбрать? RTX PRO 6000 Server Edition стоит рассматривать для корпоративных ИИ-систем, которым нужны 96 ГБ видеопамяти на одном ускорителе и поддержка вычислений FP4.

H100 PCIe представляет интерес для задач с интенсивным обменом данными, а также для распределенных вычислений, где программа использует NVLink. Для обучения крупных нейросетей такая возможность может иметь существенное значение.

Для более масштабных вычислительных систем NVIDIA предлагает ускорители семейства Blackwell с другими характеристиками памяти и межпроцессорных соединений. Их различия рассмотрены в статье NVIDIA B200 и B300: сравнение характеристик и сценариев применения.

Как подобрать сервер с RTX PRO 6000

При подборе сервера для ИИ важно учитывать всю вычислительную систему. Процессор должен успевать подготавливать данные, оперативная память — обеспечивать работу программ, а дисковая и сетевая подсистемы — передавать информацию с необходимой скоростью.

Конфигурацию начинают рассчитывать с количества графических ускорителей. Затем определяют требования к остальным компонентам и проверяют, какие серверные платформы поддерживают выбранное оборудование.

Количество ускорителей под нагрузку

Число видеокарт зависит от размера нейросети, требуемой скорости обработки запросов и количества задач, которые сервер должен выполнять одновременно.

Возможны несколько вариантов:

• Один ускоритель. Подходит для разработки, испытаний и запуска готовых моделей, которым достаточно ресурсов одной видеокарты. Такой вариант можно рассматривать для корпоративных ИИ-приложений с небольшим количеством одновременных запросов.
• Два ускорителя. Позволяют выполнять независимые задачи параллельно либо распределять вычисления одной нейросети между устройствами. Во втором случае потребуется соответствующая поддержка программного обеспечения.
• Четыре или восемь ускорителей. Такие системы используют для обработки большого числа запросов, одновременного запуска нескольких моделей и распределенных вычислений. Возможность установки зависит от конкретной серверной платформы.

Например, если компания планирует одновременно обслуживать несколько независимых ИИ-приложений, нагрузку можно распределить между отдельными видеокартами. Это позволяет выделить вычислительные ресурсы каждому приложению.

Для одной крупной нейросети подход будет другим. Программа должна поддерживать распределение ее параметров и вычислений между устройствами. Кроме того, необходимо учитывать скорость передачи данных между ними.

Поэтому увеличение количества ускорителей не гарантирует пропорционального роста производительности. Перед закупкой стоит определить, сколько запросов система должна обрабатывать одновременно и какое время ответа допустимо для пользователей.

Требования к процессорам и оперативной памяти

Центральный процессор отвечает за выполнение системных задач, подготовку данных и работу программ, которые взаимодействуют с графическими ускорителями. Его производительность особенно важна при обработке входных данных и одновременной работе нескольких приложений.

Для серверов с RTX PRO 6000 производители предлагают платформы на Intel Xeon и AMD EPYC. Конкретный процессор выбирают с учетом числа ядер, поддерживаемой памяти и возможностей подключения дополнительных устройств.

При подборе стоит проверить три параметра:

• Количество процессорных ядер. Их должно хватать для подготовки данных и обслуживания программных процессов. Потребность зависит от числа ускорителей и характера нагрузки.
• Линии PCIe. RTX PRO 6000 использует интерфейс PCIe 5.0 x16. Для получения предусмотренной пропускной способности сервер должен обеспечивать соответствующее подключение. Важно учитывать число доступных линий и их распределение между устройствами.
• Схему подключения ускорителей. В двухпроцессорных серверах видеокарты могут подключаться к разным процессорам. От расположения устройств и маршрута передачи данных зависит эффективность обмена информацией.

Для многокарточных систем NVIDIA рекомендует распределять ускорители между процессорами и линиями PCIe так, чтобы избежать перегрузки отдельных участков передачи данных.

Оперативную память подбирают отдельно. Она нужна для работы операционной системы, подготовки запросов, загрузки нейросетей и обработки обучающих данных.

Например, в одной из опорных серверных конфигураций с восемью RTX PRO 6000 Blackwell Server Edition NVIDIA указывает минимум 128 ГБ оперативной памяти на каждый ускоритель. Для всей системы это составляет 1024 ГБ, или 1 ТБ.

Однако такое соотношение относится к конкретной архитектуре. Для других задач и конфигураций требования могут отличаться. При расчете нужно учитывать объем данных, число одновременно работающих программ и особенности используемых средств машинного обучения.

В серверах с несколькими процессорами также важно правильно распределить модули памяти по каналам. Это помогает обеспечить необходимую пропускную способность для обработки данных.

Питание, охлаждение и совместимость

RTX PRO 6000 Server Edition поддерживает настройку потребляемой мощности в пределах 400–600 Вт. При расчете питания нужно учитывать выбранный режим работы каждого ускорителя, а также потребление процессоров, оперативной памяти, накопителей и вентиляторов.

Например, две видеокарты при максимальной мощности 600 Вт каждая могут потреблять суммарно до 1200 Вт. Но блоки питания нельзя подбирать только по этой цифре. Необходимо рассчитать нагрузку всех компонентов и проверить предусмотренную производителем схему резервирования.

Отдельное внимание требуется охлаждению. Серверное исполнение с воздушным охлаждением использует пассивный радиатор. Необходимый поток воздуха через него создают вентиляторы корпуса.

Производитель сервера должен предусмотреть такой способ отвода тепла. Если охлаждения недостаточно, графический процессор может снижать частоту, чтобы удерживать температуру в допустимых пределах.

Поэтому перед закупкой необходимо проверить поддержку конкретного ускорителя серверной платформой. Свободного слота PCIe для подтверждения совместимости недостаточно.

Примеры серверов с поддержкой RTX PRO 6000 Blackwell:

GIGABYTE G494-ZB4-AAP2 — сервер высотой 4U с двумя процессорами AMD EPYC серий 9004 или 9005. Поддерживает до восьми RTX PRO 6000 Blackwell Server Edition. Для установки восьми ускорителей мощностью до 600 Вт требуется дополнительный комплект вентиляторов. Производитель указывает поддержку такой конфигурации при температуре окружающего воздуха 25 °C.

Платформу можно рассматривать для выполнения нескольких задач ИИ одновременно и распределения вычислений между графическими процессорами.

ASUS ESC8000A-E13 — сервер высотой 4U на двух процессорах AMD EPYC серий 9004 или 9005. Поддерживает до восьми RTX PRO 6000 Blackwell Server Edition с потреблением до 600 Вт каждая. В конструкции предусмотрены слоты для установки ускорителей, до 24 разъемов для модулей оперативной памяти и возможность размещения накопителей NVMe.

Такую платформу можно использовать для централизованного запуска нейросетей и построения многокарточной вычислительной системы.

Оба сервера позволяют разместить до восьми RTX PRO 6000, но конкретная комплектация должна соответствовать требованиям производителя. При заказе необходимо проверить состав процессоров, блоков питания, охлаждения и дополнительных компонентов.

Также стоит уточнить поддерживаемые версии программного обеспечения и порядок подключения ускорителей. Это поможет избежать закупки оборудования, которое потребует замены комплектующих перед вводом в эксплуатацию.

Накопители и сетевое подключение

Дисковая подсистема хранит нейросети, обучающие данные, программное обеспечение и результаты вычислений. При выборе накопителей учитывают необходимую емкость и интенсивность чтения и записи.

Для серверов ИИ часто используют SSD с интерфейсом NVMe. Такие накопители позволяют быстро загружать большие файлы и обрабатывать значительные объемы данных.

При выборе накопителей нужно учитывать характер обращений к данным, допустимые задержки и совместимость с серверной платформой. Подробнее эти вопросы разобраны в статье NVMe в системах хранения данных: преимущества и правила внедрения.

Требования зависят от характера работы:

• Запуск готовых моделей. Накопители должны вмещать файлы нейросетей и обеспечивать их загрузку с приемлемой скоростью. После размещения модели в видеопамяти влияние дисковой подсистемы на выполнение вычислений может быть небольшим.
• Дообучение. Серверу требуется место для обучающих данных и сохранения промежуточных состояний нейросети. Последние позволяют продолжить обучение с определенного этапа после остановки.
• Генерация изображений и видео. Необходимо предусмотреть емкость для исходных материалов, временных файлов и готовых результатов. Требования к скорости записи зависят от объема создаваемых данных.

Если обучающие материалы находятся на внешней СХД, необходимо проверить скорость передачи данных между хранилищем и сервером. Медленная загрузка может приводить к простоям графических ускорителей.

Если проект предусматривает отдельное хранилище, потребуется выбрать способ доступа к данным. Различия между блочными, файловыми и другими СХД рассмотрены в статье Системы хранения данных: как выбрать СХД разных типов под ваши задачи.

Сетевое подключение выбирают по тому, как устроена вычислительная система.

Для одного сервера, к которому сотрудники обращаются через корпоративные приложения, важны пропускная способность сети, количество соединений и объем передаваемой информации.

Для нескольких серверов, совместно выполняющих вычисления, требования выше. Узлы могут регулярно обмениваться промежуточными результатами, поэтому пропускная способность и задержки сети способны влиять на общую скорость работы.

При проектировании такой инфраструктуры нужно отдельно оценивать обмен данными между вычислительными узлами и подключение к системам хранения.

Вопросы и ответы