PCIe в сервере: версии, линии и пропускная способность

В характеристиках серверов встречаются обозначения PCIe 4.0 x16 и PCIe 5.0 x8. PCIe — интерфейс, через который сервер обменивается данными с графическими ускорителями, накопителями и сетевыми адаптерами. Его характеристики влияют на доступную скорость передачи данных и возможности подключения оборудования.

Разберем, что означают такие записи в спецификации и как учитывать их при выборе серверной конфигурации.

В этой статье:

• Что такое PCIe и как он работает
• Какие существуют версии PCIe и чем они отличаются
• Что означают PCIe x1, x4, x8 и x16
• Как рассчитывается пропускная способность PCIe
• Совместимость разных версий PCIe
• Как распределяются линии PCIe в сервере
• Как PCIe влияет на работу серверного оборудования
• Вопросы и ответы

Что такое PCIe и как он работает

PCIe обеспечивает соединение между устройствами и процессорной частью сервера. Каждое устройство получает отдельный канал связи с соответствующим узлом системы. Это позволяет серверу одновременно обмениваться данными с несколькими компонентами.

Как устроено соединение

За взаимодействие процессорной части с устройствами отвечает корневой комплекс PCIe. Это узел, который связывает подключенное оборудование с процессором и оперативной памятью.

Устройство может соединяться с корневым комплексом напрямую или через коммутатор PCIe. Коммутатор связывает несколько устройств с вышестоящим соединением и передает их запросы дальше по системе.

Конкретная схема зависит от конструкции сервера. Например, графические ускорители могут иметь прямое подключение к процессорной части или работать через дополнительные коммутаторы.

Как передаются данные

PCIe использует последовательную передачу информации. Данные и команды передаются небольшими блоками — пакетами. Каждый пакет содержит служебные сведения, по которым система определяет, как обработать передаваемую информацию.

Рассмотрим простой пример. Когда сервер обращается к NVMe-накопителю, он передает команду чтения. Накопитель обрабатывает запрос и возвращает данные. При записи сервер отправляет информацию, которую устройство должно сохранить.

PCIe поддерживает обмен в обоих направлениях одновременно. Сервер может отправлять запросы и получать информацию по одному соединению без ожидания полного завершения передачи в противоположную сторону.

Как устройства подключаются к PCIe

PCIe используется в разных вариантах подключения.

Например, графический ускоритель может устанавливаться в разъем расширения, а NVMe-накопитель — в дисковую корзину сервера.

В первом случае устройство соединяется с системной платой через разъем. Во втором связь может проходить через дополнительные элементы конструкции сервера, включая объединительную плату дисковой корзины и кабели.

При этом принцип обмена данными остается тем же. PCIe обеспечивает взаимодействие компонентов независимо от того, каким способом производитель организовал их физическое подключение.

Какие существуют версии PCIe и чем они отличаются

Версия PCIe определяет предельную скорость передачи данных по интерфейсу. Каждое новое поколение увеличивает его возможности, поэтому в характеристиках серверов можно встретить PCIe 3.0, 4.0, 5.0 и другие обозначения.

Скорость PCIe измеряют в ГТ/с — миллиардах передач в секунду. Этот показатель характеризует работу соединения, но не равен объему полезных данных, который получает устройство. Часть передачи занимают служебные сведения.

PCIe 3.0, 4.0 и 5.0: основные различия

В первых двух поколениях PCIe значительная часть передаваемой информации использовалась для служебных целей. При разработке PCIe 3.0 производители перешли на более эффективный способ кодирования данных. Он позволил сократить долю служебной информации.

Версии PCIe 4.0 и 5.0 сохранили этот способ кодирования, но увеличили скорость обмена. По сравнению с PCIe 3.0 пятое поколение обеспечивает в четыре раза больше передач за секунду.

Таким образом, основные изменения между PCIe 3.0, 4.0 и 5.0 связаны с увеличением скорости. Принцип передачи сигналов у этих поколений остается одинаковым.

PCIe 6.0 и 7.0: что изменилось в новых поколениях

Начиная с PCIe 6.0 разработчики применяют четырехуровневую передачу сигналов PAM4. Раньше электрический сигнал мог принимать два значения, теперь используются четыре. Каждое значение позволяет закодировать два бита информации.

Новый способ передачи более чувствителен к искажениям сигнала. Поэтому в PCIe 6.0 появились дополнительные средства обнаружения и исправления ошибок. Также изменился порядок обработки информации: данные передаются блоками фиксированного размера.

PCIe 7.0 сохраняет четырехуровневую передачу и увеличивает предельную скорость вдвое по сравнению с предыдущим поколением.

Обе спецификации уже утверждены. При этом возможность использовать конкретную версию зависит от оборудования. Поддержку необходимо проверять по документации производителя сервера.

Сравнение поколений PCIe

В таблице приведены характеристики семи поколений PCIe. Скорость указана для одной линии — отдельного канала передачи данных внутри соединения.

Начиная с PCIe 3.0 каждое следующее поколение удваивает предельную скорость передачи. Однако для оценки общей пропускной способности соединения необходимо учитывать и количество задействованных линий.

Что означают PCIe x1, x4, x8 и x16

Помимо версии PCIe, в характеристиках сервера указывают ширину соединения: x1, x4, x8 или x16. Число обозначает количество линий, которые могут одновременно передавать данные. От него зависит, какой объем информации способен пропустить интерфейс при определенной версии PCIe.

Что такое линия PCIe

Одна линия состоит из двух пар проводников. По первой устройство передает данные, по второй принимает. Несколько линий могут работать параллельно и образовывать одно соединение.

Ширину такого соединения обозначают буквой x и числом:

Таким образом, x16 использует шестнадцать линий, а x4 — четыре. При одинаковой версии интерфейса большее количество линий позволяет передавать больше данных. Конкретные значения пропускной способности рассмотрим в следующей главе.

Чем отличаются физический размер разъема и количество линий

Разъемы PCIe для плат расширения различаются длиной и количеством контактов.

Например, разъем x16 длиннее x8, поскольку рассчитан на большее количество линий.

Однако размер разъема не всегда соответствует его электрическому подключению. Производитель может установить разъем x16, но подвести к нему только восемь линий.

Поэтому в характеристиках серверных плат встречаются два обозначения:

• Физический размер x16 — разъем рассчитан на установку платы с соответствующим соединителем.
• Электрическая ширина x8 — к разъему подведено восемь линий передачи данных.

Например, на серверной плате Intel S2600CW2SR пятый разъем PCIe имеет физический размер x16, но электрически подключен по восьми линиям. Это указано в официальной документации Intel.

При изучении характеристик сервера важно различать эти параметры. Длинный разъем x16 сам по себе еще не означает, что устройство получит все шестнадцать линий. Точное количество зависит от конструкции системной платы и конкретного разъема.

Длинный разъем x16 сам по себе еще не означает, что устройство получит все шестнадцать линий.

— Редакция CRABBIT

Как рассчитывается пропускная способность PCIe

Пропускная способность PCIe показывает, сколько данных соединение способно передать за секунду. Она зависит от поколения интерфейса и количества линий. Например, PCIe 4.0 x16 и PCIe 5.0 x8 имеют одинаковую теоретическую пропускную способность, хотя используют разное число линий.

Для сравнения таких соединений скорость передачи из ГТ/с переводят в гигабайты в секунду (ГБ/с).

Как рассчитать скорость передачи данных

В PCIe 3.0, 4.0 и 5.0 при передаче каждых 128 бит информации добавляются два служебных бита для кодирования. Поэтому при расчете используют коэффициент 128/130. Он учитывает долю данных в передаваемом потоке.

Для этих поколений действует формула:

Пропускная способность (ГБ/с) = скорость (ГТ/с) × количество линий × 128/130 ÷ 8

Деление на восемь переводит биты в байты.

Рассмотрим PCIe 4.0 x8. Четвертое поколение поддерживает 16 ГТ/с, а соединение использует восемь линий.

16 × 8 × 128/130 ÷ 8 ≈ 15,75 ГБ/с.

Полученное значение показывает расчетную пропускную способность в одном направлении. PCIe позволяет одновременно передавать данные в обе стороны.

Для PCIe 6.0 и 7.0 применяют другой порядок расчета, поскольку в этих поколениях изменились способ кодирования и формат передачи данных.

Пропускная способность PCIe 3.0, 4.0 и 5.0

В таблице приведены расчетные значения для разных сочетаний версий интерфейса и количества линий.

Значения округлены до двух знаков после запятой. Указана теоретическая пропускная способность в одном направлении с учетом кодирования 128b/130b, без дополнительных расходов на служебный обмен. Один ГБ равен миллиарду байт.

Из таблицы видно, что PCIe 5.0 x8 обеспечивает те же расчетные 31,51 ГБ/с, что и PCIe 4.0 x16. Таким образом, переход на следующее поколение позволяет получить такую же пропускную способность при меньшем количестве линий.

Почему фактическая скорость ниже расчетной

Формула учитывает потери при кодировании, но PCIe использует часть пропускной способности и для передачи служебной информации.

На результат влияют следующие факторы.

Служебный обмен. Каждый пакет содержит заголовок с информацией о передаче. Устройства также обмениваются подтверждениями и управляющими данными. Все это занимает часть доступной пропускной способности.

Размер передаваемых блоков. При передаче небольших объемов доля служебной информации обычно выше. Крупные блоки позволяют использовать соединение эффективнее, поскольку дополнительные сведения занимают меньшую часть общего потока.

Характер работы устройства. Оборудование может передавать данные с разной интенсивностью. Например, при частых небольших запросах фактическая скорость будет отличаться от непрерывной передачи крупных объемов информации.

Поэтому табличные значения показывают расчетные возможности PCIe. Реальную скорость полезных данных определяют по результатам измерений с учетом характера обмена и работы подключенного оборудования.

Совместимость разных версий PCIe

Стандарт PCIe позволяет использовать устройства разных поколений в одной системе. Благодаря обратной совместимости компании могут обновлять серверы и сохранять часть ранее установленного оборудования. При этом возможности соединения зависят от версий, которые поддерживают обе стороны.

Как работает обратная совместимость

Сервер и подключенная плата могут поддерживать разные поколения интерфейса. В таком случае они используют общую версию PCIe.

Например, плата PCIe 5.0 способна работать в сервере с PCIe 4.0. Соединение будет ограничено возможностями четвертого поколения. Обратная ситуация тоже допустима: устройство PCIe 3.0 можно использовать в сервере с поддержкой PCIe 5.0.

В таблице показаны примеры таких сочетаний.

Таблица показывает максимально возможную общую версию при исправном соединении и отсутствии дополнительных ограничений.

Обратная совместимость сохраняется и в спецификациях PCIe 6.0 и 7.0. Однако поддержка разных поколений интерфейса сама по себе не гарантирует работу любой платы в конкретном сервере.

Как сервер определяет рабочую версию

При запуске сервер и подключенное устройство согласуют параметры соединения. Обычно они выбирают наиболее высокую общую версию PCIe, которую позволяет использовать оборудование.

На результат могут влиять настройки сервера.

Например, в некоторых моделях HPE администратор может ограничить максимальное поколение PCIe через встроенное программное обеспечение. Если установлен предел PCIe 3.0, соединение будет работать в рамках этой версии даже при поддержке более поздних стандартов.

Проблемы с передачей сигналов также могут помешать работе на максимальной скорости. В зависимости от оборудования соединение иногда устанавливается в более медленном режиме или не устанавливается вовсе.

Поэтому заявленная версия PCIe и фактический режим работы могут различаться. При диагностике оборудования важно проверить оба параметра.

Что еще влияет на совместимость

Поддержка общего поколения PCIe обеспечивает возможность взаимодействия на уровне интерфейса. Однако для полноценной работы платы имеют значение дополнительные условия.

Поддержка серверной платформы. Производитель может устанавливать ограничения на использование отдельных устройств. Поэтому совместимость конкретной платы следует проверять по технической документации сервера.

Встроенное программное обеспечение. Для работы некоторых компонентов могут потребоваться определенные версии BIOS, UEFI или другие обновления, указанные производителем оборудования.

Операционная система и драйверы. Сервер может обнаружить подключенное устройство, но для использования его функций требуется поддержка со стороны операционной системы и соответствующего драйвера.

Таким образом, устройства разных поколений PCIe могут работать вместе. Перед установкой важно проверить поддержку конкретного компонента серверной платформой и требования к программному обеспечению.

Важно!

Поддержка одной версии PCIe сама по себе не гарантирует совместимость конкретной платы с сервером. Перед установкой проверьте документацию производителя и требования к программному обеспечению.

Как распределяются линии PCIe в сервере

Процессор поддерживает определенное количество линий PCIe, но далеко не все они доступны для плат расширения. Часть соединений сервер использует для накопителей, сетевых интерфейсов и встроенных контроллеров. Их расположение зависит от конструкции системной платы.

Поэтому при выборе конфигурации нужно смотреть, как производитель распределил линии между компонентами и какие разъемы доступны для дополнительного оборудования.

Откуда сервер получает линии PCIe

В современных серверных платформах основные линии PCIe идут непосредственно от процессора. Системная плата направляет их к разъемам расширения и другим устройствам.

Некоторые компоненты подключаются через чипсет. Это микросхема, которая обеспечивает работу части вспомогательных интерфейсов. Она связана с процессором общим каналом, поэтому устройства за чипсетом могут использовать его пропускную способность совместно.

Конкретная схема зависит от платформы. Например, в одном сервере NVMe-накопители получают прямое подключение к процессору, а в другом часть устройств может работать через дополнительные контроллеры или коммутаторы.

Чтобы разобраться в распределении линий, нужно изучить схему системной платы. В ней производитель показывает, какие устройства и разъемы связаны с процессором напрямую, а какие используют промежуточные соединения.

Как линии распределяются между двумя процессорами

В двухпроцессорных серверах у каждого процессора есть собственные контроллеры PCIe. Поэтому разные группы разъемов могут подключаться к разным процессорам.

Рассмотрим Dell PowerEdge R760 . В официальной документации для конфигурации переходных плат 3-1 указаны следующие подключения:

• Разъем 2 — PCIe 5.0 x16, работает через первый процессор.
• Разъем 7 — PCIe 5.0 x16, работает через второй процессор.

Оба разъема поддерживают одинаковую ширину соединения, но обслуживаются разными процессорами.

Если в такой сервер установлен только один процессор, разъемы, подключенные ко второму, работать не будут.

При этом Dell выпускает R760 с разными вариантами расположения плат расширения. В других конфигурациях ширина и подключение разъемов могут отличаться. Поэтому характеристики нужно проверять для конкретной сборки.

Зачем серверу переходные платы PCIe

В стоечных серверах платы расширения часто устанавливают через райзеры — специальные переходные платы, которые меняют расположение разъемов внутри корпуса.

Например, райзер позволяет разместить плату горизонтально, чтобы она поместилась в корпусе небольшой высоты.

Для одной модели сервера производитель может предлагать несколько вариантов райзеров. Они отличаются количеством и расположением разъемов, а также схемой подключения к процессорам.

У Dell PowerEdge R760 предусмотрены конфигурации с различным сочетанием PCIe x8 и x16. Выбор райзеров определяет, какие разъемы можно использовать одновременно.

Райзер сам по себе не добавляет новых линий PCIe. Он обеспечивает подключение оборудования к каналам, которые предусмотрены конструкцией сервера.

Как работают бифуркация и коммутаторы PCIe

Иногда одну группу линий нужно использовать для нескольких устройств. Для этого применяют бифуркацию — разделение соединения на независимые каналы меньшей ширины.

Например, шестнадцать линий могут использоваться тремя способами:

• x16 — одно соединение для одного устройства.
• x8 + x8 — два соединения по восемь линий.
• x4 + x4 + x4 + x4 — четыре соединения по четыре линии.

Такой режим полезен при установке нескольких NVMe-накопителей на плату расширения.

Например, чтобы подключить четыре SSD по четыре линии каждый через адаптер без собственного коммутатора, сервер должен поддерживать соответствующее разделение.

Возможность бифуркации зависит от процессора и системной платы. На некоторых платформах нужный режим выбирают в настройках BIOS или UEFI.

Другой вариант — использовать коммутатор PCIe. Он позволяет подключить несколько устройств через один общий канал к процессору.

Разница между этими способами заключается в организации соединений. При бифуркации группа линий делится на несколько независимых каналов. Коммутатор предоставляет дополнительные подключения, но все устройства за ним используют пропускную способность общего канала к процессору.

Например, если четыре накопителя работают через коммутатор с одним вышестоящим соединением x8, их суммарная передача в сторону процессора ограничена возможностями этого соединения.

Как проверить распределение линий в сервере

Нужные сведения обычно находятся в техническом руководстве производителя. При изучении конкретной модели стоит проверить:

• какие разъемы подключены к первому и второму процессорам;
• какие варианты райзеров поддерживает сервер;
• какие каналы заняты встроенными устройствами и накопителями;
• предусмотрены ли бифуркация и подключение через коммутаторы.

Например, если компания планирует установить два ускорителя и несколько NVMe-накопителей, нужно убедиться, что выбранная конфигурация предоставляет необходимые соединения для всех компонентов одновременно.

Такая проверка помогает заранее определить ограничения серверной платформы и избежать ситуации, когда разъемы физически доступны, но нужная схема подключения не поддерживается.

Пример проверки возможностей конкретной модели приведен в материале Обзор Dell PowerEdge R660 .

Как PCIe влияет на работу серверного оборудования

PCIe может ограничивать производительность сервера, если подключенному оборудованию требуется передавать больше данных, чем пропускает интерфейс. Для графических ускорителей, NVMe-накопителей и сетевых адаптеров такие ограничения проявляются при разных нагрузках.

Графические ускорители

Графический ускоритель (GPU) использует PCIe для обмена данными с процессором и оперативной памятью сервера. Например, при обучении нейросети процессор подготавливает данные и передает их на GPU для вычислений.

Если приложение постоянно загружает большие объемы информации на ускоритель, скорость передачи влияет на время выполнения задачи. Когда именно PCIe ограничивает обмен, увеличение пропускной способности соединения может сократить время ожидания данных.

Однако GPU хранит рабочие данные в собственной видеопамяти и выполняет вычисления без постоянного обращения к оперативной памяти сервера. Если основное время занимает обработка информации внутри ускорителя, более быстрый PCIe практически не изменит скорость вычислений.

Это важно учитывать при выборе GPU-сервера.

Например, для задачи, которая регулярно передает на ускоритель новые массивы данных, характеристики PCIe могут иметь большое значение. Если приложение преимущественно работает с информацией, уже находящейся в видеопамяти, влияние интерфейса будет меньше.

Чтобы определить, ограничивает ли PCIe работу ускорителя, нужно оценить объем и частоту передачи данных между сервером и GPU.

Подробный разбор выбора оборудования для вычислений — в материале Как выбрать GPU-сервер для ИИ .

GPU-серверы для задач искусственного интеллекта

Посмотреть серверы →

NVMe-накопители

NVMe-накопители используют PCIe для чтения и записи данных. Возможности интерфейса особенно важны при последовательных операциях, когда сервер обрабатывает большие файлы или массивы информации.

Рассмотрим серверный SSD Samsung PM9D3a. Для 2,5-дюймовой версии емкостью 3,84 ТБ компания Lenovo приводит следующие характеристики последовательного чтения:

• При PCIe 5.0 x4 — до 12 000 МБ/с.
• При PCIe 4.0 x4 — до 7 000 МБ/с.

Это паспортные показатели для указанных условий работы, а не результаты независимого тестирования.

В данном случае поколение интерфейса существенно влияет на доступную скорость чтения. Если сервер использует PCIe 4.0, накопитель не сможет достичь максимального значения, заявленного для подключения PCIe 5.0.

При операциях с небольшими блоками данных важны и другие характеристики SSD. Например, сервер баз данных может выполнять множество отдельных запросов на чтение и запись. На скорость их обработки влияют задержки накопителя и количество операций ввода-вывода в секунду (IOPS).

Поэтому для задач с интенсивной последовательной передачей данных стоит уделять особое внимание пропускной способности PCIe. При работе с большим числом небольших запросов нужно дополнительно сравнивать показатели IOPS и время отклика SSD.

Особенности применения накопителей и ограничения систем хранения рассмотрены в статье NVMe в системах хранения данных .

Системы хранения данных для корпоративных задач

Посмотреть СХД →

Сетевые адаптеры

Сетевой адаптер принимает и отправляет трафик через сетевые порты. Для обмена с серверной системой он использует PCIe.

Чем выше суммарная скорость сетевых подключений, тем больше данных адаптеру может потребоваться передавать через интерфейс. Например, для оборудования на 100, 200 и 400 Гбит/с возможности PCIe особенно важны при интенсивной нагрузке.

Рассмотрим NVIDIA ConnectX-7 MCX75310AAC-NEAT. Эта модификация поддерживает Ethernet со скоростью до 400 Гбит/с и подключение PCIe 5.0 x16.

Если адаптер работает через PCIe 4.0 x16, пропускной способности интерфейса недостаточно для передачи полного объема трафика порта 400 Гбит/с между сетью и серверной системой. Даже если сетевая инфраструктура поддерживает такую скорость, ограничение возникнет на стороне подключения к серверу.

Похожая ситуация возможна с многопортовыми адаптерами. Например, сервер одновременно передает данные через несколько сетевых подключений. В этом случае важно учитывать их суммарную нагрузку, поскольку трафик проходит через общее соединение PCIe.

Такие ограничения особенно актуальны при обмене большими массивами информации между серверами, работе с удаленными хранилищами и передаче данных внутри вычислительных кластеров.

При выборе сетевого адаптера нужно сопоставлять скорость его портов с пропускной способностью подключения PCIe. Если интерфейс ограничивает передачу, сервер не сможет полностью использовать возможности сетевого оборудования.

Вопросы и ответы