RAG на своем сервере: какое железо нужно

RAG помогает языковой модели отвечать на вопросы с опорой на корпоративные документы. Чтобы запустить такую систему на собственном сервере, нужно учитывать размер модели, объем данных и количество одновременных запросов. Разберем, как подобрать оборудование под такую нагрузку, на какие характеристики обратить внимание и какие конфигурации рассмотреть для разных задач.

В этой статье:

• Что такое RAG и как он работает на своем сервере
• От чего зависят требования к оборудованию
• Как выбрать видеокарту для RAG
• Процессор и оперативная память
• Накопители и хранение данных
• Как выбрать серверную платформу
• Примеры конфигураций серверов для RAG
• Вопросы и ответы

Что такое RAG и как он работает на своем сервере

RAG (Retrieval-Augmented Generation, генерация с дополнением найденной информацией) — это технология, которая объединяет поиск данных и работу языковой модели. Когда пользователь задает вопрос, программа находит подходящие сведения в подключенных источниках и передает их модели. На их основе формируется ответ.

Например, инженеру нужно узнать порядок восстановления сервера после сбоя. Вместо самостоятельного поиска по внутренним инструкциям он обращается к корпоративному ИИ-помощнику. RAG находит нужные разделы документации, а языковая модель составляет ответ. При соответствующей настройке сотрудник также получает ссылки на первоисточники.

Такой подход позволяет использовать внутренние знания компании без повторного обучения языковой модели при каждом изменении документации. Достаточно обновлять сведения, доступные поисковой части.

Как RAG использует корпоративные документы

Чтобы программа могла находить нужные сведения, документы сначала необходимо подготовить. Источниками могут служить технические инструкции, договоры, внутренние регламенты, справочники и другие корпоративные материалы.

В распространенной схеме подготовка проходит четыре этапа:

1. Извлечение текста. Программа считывает содержимое файлов. Если документ состоит из отсканированных страниц, дополнительно потребуется распознавание текста.
2. Разделение на фрагменты. Большие материалы делятся на небольшие смысловые части. Так программа сможет находить конкретные положения инструкции, не загружая весь документ при каждом обращении.
3. Подготовка данных для поиска. Если используется поиск по смыслу, специальная модель преобразует текст в числовые представления — векторы. Они помогают находить связанные по содержанию фрагменты, даже когда формулировки различаются.
4. Создание поискового индекса. Программа сохраняет подготовленные сведения в структуре, которая позволяет быстро находить подходящие материалы. Индекс может содержать текст, векторы и дополнительные данные об источниках.

Способ поиска зависит от характера документов. Например, поиск по ключевым словам удобен, когда нужно найти точный номер модели оборудования или обозначение ошибки. Поиск по смыслу помогает обнаружить нужное положение инструкции, даже если сотрудник сформулировал вопрос другими словами.

Оба способа можно объединить. Для хранения и поиска числовых представлений используют векторные базы данных или поисковые системы с соответствующими возможностями. Векторная база данных — это хранилище, которое позволяет находить записи по сходству их числовых представлений.

Когда компания изменяет документы, поисковый индекс необходимо обновлять. Иначе при формировании ответа могут использоваться устаревшие сведения.

Как система формирует ответ

После подготовки материалов сотрудники могут задавать вопросы через корпоративное приложение. Дальше RAG выполняет несколько последовательных действий:

1. Принимает запрос. Например, сотрудник спрашивает, какие действия предусмотрены внутренним регламентом при отказе сервера.
2. Находит подходящие сведения. Поисковая часть обращается к подготовленным данным и отбирает фрагменты, которые относятся к вопросу.
3. Передает информацию языковой модели. Программа объединяет найденный текст с вопросом пользователя и инструкциями по формированию ответа.
4. Возвращает результат. Модель составляет ответ на естественном языке. Если предусмотрены ссылки на источники, сотрудник может открыть соответствующие документы и проверить информацию.

Качество результата зависит от исходных материалов, точности поиска и возможностей языковой модели. Например, если нужная инструкция отсутствует в базе или программа выбрала неподходящий фрагмент, ответ может оказаться неполным либо ошибочным.

Поэтому для работы с технической документацией важно предусмотреть возможность проверки первоисточников. Особенно это касается рекомендаций, от которых зависит работа оборудования или безопасность корпоративной инфраструктуры.

Что означает запуск RAG на своем сервере

Компания может разместить все необходимые программы и данные в собственной инфраструктуре. Подготовка документов, поиск информации и работа языковой модели будут выполняться на ее оборудовании.

В зависимости от выбранной архитектуры компоненты размещают на одном физическом сервере или распределяют между несколькими машинами. В первом случае оборудование обслуживает все операции. Во втором отдельные узлы могут отвечать за поиск, обработку материалов и формирование ответов.

Собственная инфраструктура позволяет контролировать размещение документов и настройки доступа к ним. Если все необходимые программы работают локально и не используют внешние службы, запросы сотрудников и корпоративные материалы можно обрабатывать внутри сети компании.

При этом важно проверить, какие подключения использует программное обеспечение. Например, если языковая модель работает через внешнюю службу, часть информации может передаваться стороннему поставщику. Также необходимо настроить разграничение прав: сотрудник должен получать сведения только из тех источников, к которым у него есть доступ.

Для работы RAG оборудование должно обеспечивать подготовку документов, поиск информации и формирование ответов. Эти операции создают разную вычислительную нагрузку. Поэтому перед выбором сервера нужно определить, как компания планирует использовать систему.

От чего зависят требования к оборудованию

Важно!

Требования к серверу для RAG зависят от выбранной языковой модели, объема документов, числа одновременных запросов и допустимого времени ответа.

Даже две компании с похожими базами документов могут нуждаться в разных серверных конфигурациях. Например, одному ИИ-помощнику предстоит отвечать на редкие вопросы сотрудников, а другому — обслуживать множество одновременных обращений.

Чтобы рассчитать необходимые ресурсы, нужно определить характеристики языковой модели, объем и состав документов, предполагаемую активность пользователей и допустимое время ответа. Рассмотрим, как каждый фактор влияет на требования к оборудованию.

Размер языковой модели

Языковые модели различаются архитектурой, количеством параметров и требованиями к вычислениям. Параметры — это числовые значения, которые модель получила во время обучения и использует для обработки текста. Их количество часто измеряют миллиардами.

Чем крупнее модель, тем больше памяти обычно требуется для ее размещения и работы. Однако ориентироваться только на число параметров нельзя. Потребление ресурсов также зависит от архитектуры модели, формата хранения данных и настроек запуска.

Для RAG важно учитывать и объем текста, который языковая модель получает вместе с вопросом. В него могут входить выдержки из нескольких документов, служебные инструкции и история переписки. Все вместе образует контекст запроса — информацию, которую модель учитывает при подготовке ответа.

Обработка длинного контекста может занимать больше времени и требовать дополнительной памяти. Поэтому перед подбором оборудования стоит определить предполагаемый размер входного текста и необходимую длину ответов.

Если компания пока не выбрала языковую модель, имеет смысл проверить несколько вариантов на реальных рабочих вопросах. Это позволит сравнить качество ответов и оценить требования к вычислительным ресурсам.

Объем документов и частота обновления

Количество файлов не дает полного представления о нагрузке. Например, архив из коротких текстовых инструкций и собрание отсканированных технических руководств могут занимать сопоставимый объем, но требовать разной обработки.

На требования к оборудованию влияют четыре характеристики:

• Общий объем данных. Нужно учитывать размер исходных файлов и количество сведений, которые попадут в поисковый индекс.
• Состав документов. Текстовые материалы, таблицы, изображения и отсканированные страницы требуют разных способов обработки.
• Частота обновлений. При добавлении или изменении материалов программа должна обновлять соответствующие поисковые данные.
• Скорость обновления базы знаний. Важно заранее определить, как быстро новые документы должны становиться доступными сотрудникам.

Имеет значение и порядок загрузки материалов. Если компания переносит существующий архив, первоначальную обработку можно запланировать отдельно. При постоянном поступлении новых файлов серверу придется выполнять дополнительные операции во время обычной работы.

При этом большой объем документов сам по себе не означает, что потребуется более мощная видеокарта для языковой модели. Требования к хранению и поиску следует оценивать отдельно от ресурсов, необходимых для формирования ответов.

Количество одновременных пользователей

Предположим, доступ к корпоративному ИИ-помощнику получили сотрудники нескольких отделов. Одни обращаются к нему несколько раз в день, другие используют постоянно. Поэтому общее число пользователей еще не показывает, с какой нагрузкой столкнется сервер.

Для расчета важнее количество одновременных запросов. Именно оно помогает оценить, сколько обращений оборудование должно обрабатывать без существенного увеличения времени ожидания.

Например, после обновления внутреннего регламента сотрудники могут одновременно задавать вопросы о новых правилах. Если несколько запросов поступают в один момент, программе приходится распределять вычислительные ресурсы между ними. В зависимости от возможностей оборудования и настроек обработки часть обращений может ожидать своей очереди.

Перед закупкой стоит выяснить, сколько сотрудников будут работать с ИИ-помощником, как часто они планируют обращаться к нему и когда ожидается наибольшая активность.

Особое внимание нужно уделить периодам повышенной нагрузки. Сервер, который быстро отвечает одному сотруднику, может показывать другие результаты при одновременной работе нескольких пользователей.

Требования к скорости ответов

Допустимое время ожидания зависит от задачи. Сотрудник, который ищет конкретный пункт инструкции, обычно рассчитывает получить ответ быстро. Если программа готовит подробное сравнение нескольких документов, обработка может занять больше времени.

При оценке производительности полезно различать два показателя:

Время до начала ответа — промежуток между отправкой вопроса и появлением первой части результата, если приложение выводит текст постепенно.

Время полного ответа — период от отправки запроса до завершения формирования всего текста.

На скорость влияют размер языковой модели, объем обрабатываемого текста, длина ответа и количество одновременных обращений. Дополнительное время занимает поиск сведений в корпоративных документах.

Чтобы оценить будущую нагрузку, стоит испытать систему на типичных рабочих задачах.

Например, проверить скорость поиска конкретного положения регламента и подготовки развернутого ответа по нескольким источникам. Такие испытания желательно проводить как при обычной активности сотрудников, так и при предполагаемом максимальном количестве одновременных запросов.

Результаты измерений помогут определить требования к производительности и подготовить исходные данные для выбора серверных комплектующих.

Как выбрать видеокарту для RAG

Для RAG видеокарту выбирают по требованиям языковой модели и предполагаемой нагрузке. В первую очередь нужно определить необходимый объем видеопамяти. Затем проверить, насколько быстро GPU обрабатывает запросы и сможет ли обслуживать нужное количество пользователей.

Само наличие графического ускорителя еще не гарантирует быструю работу. Производительность зависит от выбранной модели, ее настроек и возможностей оборудования.

Для каких задач RAG нужен графический ускоритель

Основная задача GPU — ускорять работу языковой модели. При обработке вопроса и формировании ответа она выполняет множество математических операций. Графический ускоритель способен обрабатывать значительную часть таких вычислений параллельно.

Кроме генерации ответов, видеокарту можно использовать для других операций:

• Подготовка документов к поиску. Модель преобразует текст в числовые представления, которые помогают находить похожие по смыслу фрагменты. GPU может ускорить обработку большого количества материалов.
• Повторная проверка результатов поиска. Дополнительная модель оценивает найденные фрагменты и определяет, какие из них лучше соответствуют вопросу. При подходящем программном обеспечении вычисления можно перенести на видеокарту.

Однако для каждой операции отдельный GPU необязателен.

Например, поиск по заранее подготовленному индексу может выполняться на центральном процессоре. Некоторые небольшие языковые модели также работают без графического ускорителя, хотя скорость ответов при таком запуске может оказаться недостаточной.

Если компания планирует локальный RAG с языковой моделью, требующей значительных вычислений, GPU обычно становится одним из основных компонентов сервера.

Как рассчитать необходимый объем видеопамяти

Видеопамять (VRAM) хранит данные, которые графический ускоритель использует во время работы. Для языковой модели в первую очередь требуется разместить ее параметры. Дополнительное пространство занимают промежуточные результаты вычислений.

Предварительно оценить объем памяти для параметров можно по формуле:

Объем памяти = количество параметров × размер одного параметра.

Рассмотрим условную языковую модель с 8 млрд параметров. Если каждый занимает 2 байта, для хранения всех параметров потребуется около 16 ГБ.

Объем зависит от числового формата, в котором представлена модель.

В таблице указан теоретический объем хранения параметров. Фактическое потребление памяти может быть выше из-за служебных данных, особенностей квантования и работы программного обеспечения.

Для окончательного расчета необходимо учитывать дополнительные расходы.

Память для обработки текста. Языковая модель сохраняет промежуточные результаты, чтобы повторно использовать их при генерации следующих частей ответа. Для многих современных моделей такую область называют KV-кешем. Ее размер зависит от архитектуры нейросети, длины обрабатываемого текста и числа одновременных запросов.

Память для других вычислений. Дополнительное пространство требуется для выполнения операций и работы программного обеспечения.

Параллельная обработка запросов. Когда несколько сотрудников одновременно обращаются к модели, потребление видеопамяти может увеличиваться. Точный объем зависит от используемой программы и способа распределения вычислений.

Например, если RAG передает языковой модели длинные выдержки из технических документов, памяти для обработки такого запроса может потребоваться больше, чем для короткого вопроса.

Важно! Если параметры модели занимают 16 ГБ, видеокарта с 16 ГБ памяти не обязательно сможет ее запустить. Для промежуточных результатов и других операций потребуется дополнительное пространство.

Перед закупкой стоит проверить требования разработчика языковой модели и измерить фактическое потребление видеопамяти при предполагаемой нагрузке. Это поможет избежать ситуации, когда параметры помещаются в память, но ресурсов для полноценной работы недостаточно.

Когда достаточно одной видеокарты, а когда нужны несколько

Один GPU может обслуживать языковую модель, если ее параметры и необходимые рабочие данные помещаются в доступную память, а скорость обработки запросов соответствует требованиям компании.

Несколько видеокарт рассматривают, когда одной недостаточно по объему памяти или производительности. Для этого применяют разные способы распределения вычислений.

Распределение одной модели между несколькими GPU

Если крупная языковая модель не помещается на одной видеокарте, программное обеспечение может распределить ее части между несколькими ускорителями.

Например, vLLM поддерживает выполнение одной модели на нескольких GPU. При таком подходе устройства обмениваются данными во время вычислений.

Важно учитывать, что память нескольких видеокарт не объединяется автоматически в единое пространство. Возможность распределенного запуска зависит от программного обеспечения, архитектуры модели и способа соединения ускорителей.

Запуск нескольких копий языковой модели

Если модель помещается на одной видеокарте, для обслуживания большего числа сотрудников можно запустить несколько ее копий на разных GPU.

Каждая копия получает собственные вычислительные ресурсы и обрабатывает назначенные ей обращения. Такой подход позволяет распределять запросы между ускорителями и увеличивать общую пропускную способность.

Но увеличение количества видеокарт не гарантирует пропорционального роста производительности. Результат зависит от характера обращений и настроек программы.

Таким образом, перед выбором нескольких GPU важно определить причину нехватки ресурсов. Если языковая модель не помещается в память одного устройства, потребуется возможность распределить ее между ускорителями. Если проблема связана с количеством одновременных обращений, стоит проверить запуск нескольких копий.

Важно!

Расчет объема памяти для параметров модели не учитывает дополнительные ресурсы, необходимые во время ее работы.

Как квантование помогает уменьшить потребление видеопамяти

Квантование — это способ уменьшить объем памяти, необходимой для хранения параметров языковой модели. Для этого числа представляют с меньшей разрядностью.

Например, при переходе от 16-битного к 8-битному представлению теоретический объем хранения параметров сокращается вдвое. При использовании 4-битного формата он может уменьшиться еще сильнее.

Фактическая экономия зависит от выбранного способа квантования. Часть данных и операций может использовать более высокую точность.

Для выбора оборудования это дает несколько возможностей:

• Запустить подходящую модель на видеокарте с меньшим объемом памяти, если программное обеспечение поддерживает выбранный формат.
• Освободить дополнительное пространство для обработки текста и одновременных запросов.
• Сравнить несколько вариантов GPU с учетом реального потребления памяти.

При этом квантование может повлиять на качество ответов. Степень изменения зависит от модели, способа уменьшения точности и характера задач. Скорость вычислений также не всегда увеличивается.

Поэтому перед выбором квантованной версии нужно проверить ее на реальных корпоративных материалах.

Например, сравнить, насколько точно исходная и уменьшенная модели извлекают сведения из технических инструкций, обрабатывают обозначения оборудования и отвечают на вопросы по нескольким документам.

Если качество остается приемлемым, квантование может помочь сократить требования к видеопамяти. Однако окончательное решение стоит принимать после испытаний на выбранном оборудовании.

При подборе видеокарты для RAG необходимо проверить три условия: достаточно ли памяти для работы языковой модели, соответствует ли скорость обработки запросов требованиям компании и поддерживает ли GPU необходимые программные средства. Результаты испытаний помогут определить подходящий ускоритель и количество видеокарт.

Процессор и оперативная память

Для RAG важны не только возможности видеокарты. Центральный процессор (CPU) обслуживает программные компоненты, а оперативная память (ОЗУ) хранит данные, необходимые для их работы. Если ресурсов недостаточно, поиск может замедляться, а обработка документов — занимать больше времени.

При подборе CPU и ОЗУ нужно учитывать, где выполняются вычисления: на центральном процессоре, графическом ускорителе или обоих устройствах. От этого зависит распределение нагрузки и требования к характеристикам оборудования.

Какие задачи RAG выполняет на процессоре

Центральный процессор управляет работой программ и выполняет операции, которые не переданы графическому ускорителю. Его загрузка зависит от выбранного программного обеспечения.

В типичной конфигурации CPU отвечает за несколько задач:

• Подготовка документов. Извлекает текст из файлов, обрабатывает полученные данные и выполняет операции, необходимые для создания поискового индекса.
• Поиск информации. Выполняет запросы к базе данных и обрабатывает результаты. Некоторые поисковые системы также поддерживают ускорение отдельных операций на GPU.
• Обслуживание пользователей. Принимает обращения, организует обмен данными между программами и передает готовые ответы.
• Работа операционной системы. Обслуживает системные процессы, сетевые подключения и другие фоновые задачи.

Если языковая модель запускается без видеокарты, CPU также выполняет вычисления для формирования ответов. В таком случае требования к его производительности могут существенно вырасти.

При использовании GPU центральный процессор продолжает обслуживать поисковые и вспомогательные службы. Поэтому его нужно подбирать с учетом всех задач, которые будут выполняться одновременно.

Сколько ядер процессора потребуется

Универсального количества ядер для RAG нет. Требования зависят от программного обеспечения, интенсивности поиска и способа распределения вычислений.

При выборе процессора стоит обратить внимание на три характеристики.

Количество ядер. Несколько ядер позволяют одновременно выполнять независимые операции. Например, сервер может обрабатывать новые документы и обслуживать поисковые запросы сотрудников. Дополнительные ядра помогают ускорить работу, если программы поддерживают параллельные вычисления.

Тактовая частота. Влияет на скорость выполнения отдельных операций. Однако сравнивать процессоры только по частоте неправильно: производительность также зависит от архитектуры, количества ядер и других характеристик CPU.

Пропускная способность оперативной памяти. Определяет, сколько данных процессор способен получать из ОЗУ за единицу времени. Для программ, которые часто обращаются к большим поисковым структурам, скорость обмена с памятью может иметь существенное значение.

Рассмотрим два случая.

Первый: сервер регулярно обрабатывает новые документы. Программа извлекает текст, подготавливает сведения и обновляет поисковый индекс. Если эти операции можно выполнять параллельно, дополнительные ядра помогают сократить время обработки.

Второй: сотрудники преимущественно обращаются к уже подготовленной базе знаний. Здесь производительность зависит от используемого алгоритма поиска, организации данных и скорости доступа к ним. Увеличение количества ядер может дать ограниченный результат, если основное время программа тратит на ожидание данных из памяти.

Для предварительного выбора CPU необходимо изучить требования программного обеспечения. Затем полезно провести испытания с предполагаемым количеством одновременных запросов и проверить загрузку процессора.

Если отдельные ядра постоянно загружены, а время ответа превышает допустимое, потребуется выяснить, какие операции ограничивают производительность. Такой анализ поможет понять, нужен ли процессор с большим числом ядер или более высокой производительностью отдельных ядер.

Как рассчитать объем оперативной памяти

ОЗУ используют операционная система, поисковые службы и программы обработки документов. Если языковая модель полностью или частично выполняется на CPU, память потребуется также для ее параметров и промежуточных результатов вычислений.

При использовании векторной базы данных отдельное внимание нужно уделить поисковым структурам. Их размер зависит от количества записей, длины числовых представлений, формата хранения и настроек индекса.

Пример расчета памяти для векторов

Предположим, база знаний содержит 1 млн векторов. Каждый состоит из 768 числовых значений в формате FP32, где одно значение занимает 4 байта.

Расчет выглядит так:

1 000 000 × 768 × 4 = 3 072 000 000 байт ≈ 3,07 ГБ.

Это объем самих числовых представлений без дополнительных данных.

Если векторы полностью размещаются в оперативной памяти, нужно также учесть поисковый индекс, служебные структуры и ресурсы, необходимые для работы программы.

Например, Qdrant в рекомендациях по расчету ресурсов учитывает количество векторов, их размерность, тип данных, устройство индекса и способ размещения информации. Поэтому фактическая потребность в ОЗУ может заметно отличаться от результата простой формулы.

Кроме того, поисковые системы могут использовать дисковое хранение. В таком случае в оперативную память загружаются необходимые данные в соответствии с настройками программы.

При определении общего объема ОЗУ следует учитывать следующие составляющие:

К полученному значению нужно предусмотреть запас для временных операций и увеличения нагрузки. Его величину определяют по требованиям программного обеспечения и результатам испытаний.

Важно! Размер архива документов нельзя напрямую использовать для расчета ОЗУ. Исходные файлы, поисковые индексы и временные данные занимают разный объем памяти. Кроме того, часть информации может храниться на накопителях.

Перед закупкой стоит измерить потребление ОЗУ в нескольких режимах: при обычной работе, обновлении поискового индекса и максимальном предполагаемом количестве одновременных запросов. Это позволит оценить необходимый объем памяти для выбранной конфигурации.

Когда нужна оперативная память ECC

ECC (Error-Correcting Code) — технология обнаружения и исправления определенных ошибок в оперативной памяти. Она помогает снизить риск повреждения данных из-за случайных битовых ошибок.

В поддерживаемых системах ECC может автоматически исправлять одиночные битовые ошибки. Информация об исправлениях может сохраняться в журналах оборудования, чтобы администратор мог отслеживать состояние модулей.

Для корпоративного RAG такая возможность особенно полезна при постоянной работе сервера. Например, оборудование может круглосуточно обслуживать обращения сотрудников и выполнять длительную обработку документов.

При выборе памяти ECC нужно учитывать несколько условий:

• Поддержка процессором. Контроллер памяти CPU должен работать с соответствующей технологией.
• Совместимость с системной платой. Сервер должен поддерживать выбранный тип модулей ECC.
• Правила установки. Производитель определяет допустимые типы памяти, количество модулей и порядок заполнения слотов.
• Контроль состояния. Повторяющиеся исправляемые ошибки требуют проверки оборудования, поскольку могут указывать на неисправность модуля или другие проблемы.

ECC не устраняет все возможные сбои. Возможности обнаружения и исправления ошибок зависят от конкретной реализации технологии и серверной платформы.

Для корпоративного сервера, рассчитанного на длительную непрерывную эксплуатацию, использование ECC стоит предусмотреть при выборе оборудования. Допустимый тип и объем памяти необходимо сверить с официальной документацией производителя.

Таким образом, требования к процессору определяют по характеру вычислений и числу одновременно выполняемых задач. Объем ОЗУ рассчитывают с учетом программ, поисковых структур и дополнительных расходов памяти. После этого можно переходить к выбору накопителей и организации хранения данных.

Накопители и хранение данных

Для RAG важны емкость накопителей и скорость доступа к данным. Серверу требуется место для корпоративных документов, поисковых индексов, файлов языковых моделей и работы программ.

Требования к этим данным различаются. Например, архив технических инструкций может храниться на существующей СХД. А поисковую базу, к которой сотрудники постоянно обращаются, иногда выгоднее разместить на локальных SSD. Разберем, как рассчитать емкость и определить, где действительно нужна высокая скорость чтения и записи.

Где хранятся документы, индексы и языковые модели

При локальном запуске RAG компания может использовать накопители самого сервера и внешние хранилища. Размещение зависит от выбранных программ и характера обращений к данным.

Основные категории:

Например, компания может оставить архив документов на существующей СХД, а файлы языковой модели и поисковую базу разместить на SSD сервера. Такая схема возможна, если программное обеспечение поддерживает раздельное хранение.

Нужно учитывать и способ подготовки данных. Некоторые решения сохраняют собственные копии извлеченного текста вместе с числовыми представлениями. Поэтому поисковая база может занимать дополнительное место, даже если оригинальные документы остаются на другом устройстве.

Важно! Для активно используемой векторной базы нельзя выбирать внешнее хранилище только по доступной емкости. Например, Qdrant рекомендует локальные SSD при поиске с обращениями к диску, поскольку задержки сетевого хранения могут ухудшать производительность.

Как рассчитать необходимую емкость накопителей

Для расчета сначала нужно определить, какие данные будут размещаться непосредственно на сервере. Затем оценить их объем с учетом программного обеспечения и возможного увеличения базы знаний.

1. Исходные документы

Проверьте размер архива и место его размещения. Если материалы остаются на отдельной СХД, включать весь архив в расчет локальных дисков не потребуется. Однако дополнительное пространство может понадобиться для временных или постоянных копий.

2. Поисковая база

Ее размер зависит от количества подготовленных фрагментов, длины числовых представлений и настроек хранения.

Например, Qdrant учитывает несколько составляющих: исходные векторы, поисковые индексы, дополнительные сведения о документах и служебные структуры.

Для предварительной оценки можно загрузить часть корпоративного архива, создать поисковую базу и измерить занимаемое место. Полученные результаты помогут рассчитать емкость для остальных материалов. При этом важно учитывать различия между типами документов.

3. Языковые модели и программы

Локальная языковая модель занимает место на накопителе даже тогда, когда во время работы ее параметры загружены в оперативную или видеопамять.

Если компания использует несколько моделей, нужно учесть файлы каждой из них. Отдельное пространство потребуется для установленных программ, операционной системы и вспомогательных компонентов.

Например, NVIDIA указывает требования к свободному дисковому пространству для своих готовых программных решений RAG. Они включают файлы моделей, поисковую базу, служебные данные и программы. Для другого состава программ эти требования будут отличаться.

4. Временные файлы и обновления

Во время работы программы могут создавать дополнительные данные. При обновлении поискового индекса некоторые системы перестраивают внутренние структуры и временно сохраняют промежуточные результаты.

Если предусмотрены локальные снимки состояния базы, для них также потребуется дисковое пространство. Их объем и способ хранения зависят от используемого программного обеспечения.

5. Запас свободного пространства

База документов может увеличиваться, а обновление индексов требует дополнительных операций. Поэтому заполнять доступную емкость полностью не стоит.

В общем виде расчет можно представить так:

Необходимая емкость = исходные документы + поисковые данные + файлы моделей и программ + служебные данные + запас свободного пространства.

В формулу включаются только те данные, которые действительно будут храниться на выбранных накопителях. Если предусмотрено несколько копий, их объем учитывают отдельно.

При выборе дисковой конфигурации также нужно различать суммарную емкость установленных устройств и пространство, доступное программам. Например, использование зеркального массива уменьшает полезную емкость по сравнению с суммой объемов двух накопителей.

Окончательный расчет лучше выполнять после пробной загрузки документов и проверки требований выбранных программ.

Когда стоит использовать NVMe SSD

Для хранения данных RAG могут применяться твердотельные накопители с разными интерфейсами. Чаще всего рассматривают SATA SSD и NVMe SSD.

SATA SSD используют интерфейс SATA. Такие устройства подходят для хранения файлов и приложений, если их производительности достаточно для предполагаемой нагрузки.

NVMe SSD работают по протоколу NVMe, обычно через интерфейс PCIe. Он обеспечивает возможность параллельного выполнения большого количества операций ввода-вывода и позволяет создавать накопители с высокой пропускной способностью.

При выборе важно сравнивать три характеристики.

• Скорость последовательного чтения и записи. Показывает, как быстро накопитель передает большие объемы данных. Например, это важно при загрузке файлов языковой модели.
• Производительность случайного доступа. Измеряется в IOPS — количестве операций ввода-вывода за секунду. Имеет значение, когда программа часто обращается к небольшим участкам данных.
• Задержка доступа. Показывает время выполнения операции чтения или записи. При частых обращениях к диску высокая задержка может увеличивать продолжительность поиска.

Чтобы выбрать тип накопителя, нужно учитывать его назначение.

NVMe особенно полезен, когда поисковая база регулярно считывает сведения непосредственно с накопителя. В этом случае производительность случайного доступа и задержки могут влиять на время ответа.

Однако переход с SATA SSD на NVMe не обязательно ускорит RAG. Например, если программа выполняет большую часть поиска без обращения к диску, разница может оказаться небольшой.

Также следует сравнивать характеристики конкретных моделей накопителей. Два NVMe SSD могут существенно различаться по скорости работы и допустимому объему записи.

Как хранение поискового индекса влияет на выбор SSD

Способ размещения поисковых данных определяет, насколько часто программе потребуется обращаться к накопителю.

Рассмотрим два распространенных варианта.

Основные поисковые структуры доступны в оперативной памяти

Программа может хранить данные на диске и одновременно использовать их копии в ОЗУ для ускорения поиска.

Если необходимых сведений достаточно в памяти, количество дисковых обращений уменьшается. В такой ситуации производительность накопителя может меньше влиять на время поиска.

Поисковая база регулярно читает данные с диска

При большом объеме документов часть поисковых структур может оставаться на накопителе. Программа загружает необходимые сведения по мере обработки запросов.

Например, Qdrant поддерживает разные способы размещения векторов и поисковых индексов. При использовании дискового хранения производительность зависит от скорости чтения и доступной оперативной памяти.

Особенно чувствительными к задержкам могут оказаться операции с большим количеством небольших случайных чтений. Поэтому производитель рекомендует быстрые локальные SSD для соответствующих режимов работы.

При этом важно понимать, что увеличение скорости накопителя не всегда решает проблему медленного поиска. На результат также влияют настройки базы данных, организация индекса и характер обращений.

Перед окончательным выбором SSD стоит провести испытания с предполагаемым объемом документов и числом одновременных запросов. Нужно проверить время поиска, количество дисковых операций и задержки чтения.

Если накопитель постоянно загружен и обращения к нему увеличивают время ответа, можно рассмотреть более производительный SSD либо пересмотреть способ размещения поисковых структур.

Что учитывать при частых обновлениях данных

Если компания регулярно добавляет документы, поисковая база выполняет операции записи и обновления индексов. При такой нагрузке стоит проверить ресурс записи накопителя.

В характеристиках SSD встречаются два показателя:

• TBW (Total Bytes Written) — суммарный объем данных, который производитель указывает для записи на накопитель в рамках заявленного ресурса.
• DWPD (Drive Writes Per Day) — допустимое количество полных перезаписей емкости накопителя в день в течение установленного производителем периода.

Например, при постоянном обновлении большого количества документов программа может создавать и перезаписывать служебные структуры. Это увеличивает объем записи по сравнению с хранением редко изменяемого архива.

Но количество добавляемых файлов само по себе не позволяет рассчитать износ SSD. Нужно измерить фактический объем записи при работе программ, включая обновление индексов и другие служебные операции.

Для корпоративного RAG с частыми изменениями базы знаний стоит выбирать накопители с подходящим ресурсом записи и характеристиками устойчивой производительности.

В результате выбор дисковой подсистемы зависит от трех факторов: объема размещаемых данных, частоты обращений к накопителям и интенсивности обновления поисковой базы. Эти сведения помогут определить необходимую емкость, тип SSD и требования к его производительности.

Как выбрать серверную платформу

Даже подходящие по характеристикам комплектующие не всегда совместимы друг с другом. Например, видеокарта может не поместиться в корпус или потребовать систему охлаждения, которую выбранный сервер не поддерживает.

Поэтому перед закупкой нужно проверить четыре группы требований.

Совместимость видеокарт с корпусом и слотами расширения

Графические ускорители подключаются через PCIe — интерфейс обмена данными между процессором и дополнительными устройствами. Но подходящего разъема недостаточно. Сервер должен поддерживать установку выбранной видеокарты.

Основные параметры совместимости:

1. Размер GPU. Некоторые ускорители занимают два соседних слота расширения. Нужно проверить длину, высоту и толщину устройства.
2. Версия и количество линий PCIe. Например, физический разъем x16 может использовать только восемь линий передачи данных. Это ограничивает пропускную способность соединения.
3. Поддерживаемые модели. Производитель сервера может разрешать установку только определенных ускорителей или их сочетаний.
4. Дополнительные комплектующие. Для монтажа могут потребоваться специальные платы расширения, крепления и кабели питания.

Отдельно стоит проверить программную совместимость: поддерживает ли выбранный GPU операционную систему, необходимые драйверы и средства запуска языковой модели.

Пример. В Dell PowerEdge R760 установка GPU зависит от комплектации сервера. Производитель предусматривает определенные платы расширения, кабели питания и элементы охлаждения. Поэтому перед закупкой необходимо сверить точную модификацию ускорителя с документацией Dell.

Если планируется установка нескольких GPU, важно проверить их совместную работу. Это особенно актуально для крупных языковых моделей, вычисления которых распределяются между ускорителями.

Требования к питанию и охлаждению

Графические ускорители и процессоры выделяют тепло при работе. Сервер должен обеспечивать питание всей конфигурации и поддерживать допустимую температуру компонентов.

Как проверить питание

Для предварительной оценки учитывают энергопотребление процессоров, видеокарт, оперативной памяти, накопителей и дополнительных устройств.

Однако итоговую мощность блоков питания нужно выбирать по требованиям производителя серверной платформы. Некоторые сочетания GPU и CPU могут поддерживаться только с определенными блоками питания.

Важно! Два блока питания не гарантируют полноценное резервирование. Если один выйдет из строя, оставшийся должен обеспечивать необходимую мощность. Возможность такой работы зависит от конфигурации и настроек сервера.

Как проверить охлаждение

При недостаточном охлаждении процессор или видеокарта могут снижать рабочие частоты для ограничения температуры. Это уменьшает производительность вычислений.

Особенно внимательно стоит проверять серверы с несколькими ускорителями. Для них производитель может устанавливать специальные требования к вентиляторам, радиаторам и температуре входящего воздуха.

Поэтому при выборе платформы нужно сверить допустимые сочетания GPU, процессоров и компонентов охлаждения с официальной спецификацией.

Сетевые подключения

Требования к сети зависят от того, где размещены языковая модель, поисковая база и корпоративные документы.

Например, если поисковая база находится на отдельном сервере, найденные материалы передаются языковой модели по сети. При высокой задержке обмена увеличивается время обработки запроса.

При подборе сетевых адаптеров нужно определить необходимую пропускную способность, количество портов и требования к резервированию. Универсальной скорости подключения для RAG нет: ее выбирают по предполагаемому объему передачи данных.

Отдельный вопрос — безопасность. Доступ к средствам удаленного управления сервером желательно организовать через защищенный сегмент сети. Права сотрудников на просмотр корпоративных документов должны проверяться программным обеспечением.

Резервирование и возможности расширения

Если сотрудники постоянно используют корпоративного ИИ-помощника, отказ оборудования может остановить работу сервиса. Поэтому требования к надежности лучше определить до закупки.

Что можно зарезервировать

Резервирование отдельных компонентов снижает последствия некоторых неисправностей. Но один физический сервер остается общей точкой отказа для всех размещенных на нем программ.

Если компания требует продолжения работы RAG при полном отказе сервера, потребуется соответствующая многосерверная схема. Ее должны поддерживать используемые приложения.

Как предусмотреть расширение

Предположим, первоначально RAG обслуживает один отдел. Позже компания планирует подключить другие подразделения. Если число одновременных обращений вырастет, вычислительных ресурсов может оказаться недостаточно.

Перед закупкой следует выяснить:

• Можно ли установить дополнительные GPU и какие ускорители поддерживаются.
• Сколько слотов оперативной памяти останется свободными.
• Можно ли добавить накопители и сетевые адаптеры.
• Хватит ли питания и охлаждения для расширенной конфигурации.

Важно! Свободный слот PCIe еще не гарантирует возможность установки дополнительной видеокарты. GPU может занимать место соседнего разъема, требовать другого расположения плат или превышать ограничения по питанию.

Поэтому при подборе полезно подготовить две спецификации: для первоначального запуска RAG и для предполагаемого расширения. Сравнение покажет, какие комплектующие можно будет добавить и потребуется ли замена серверной платформы.

После проверки совместимости и ограничений оборудования можно переходить к выбору конкретных серверов под задачи компании.

Примеры конфигураций серверов для RAG

Серверы Dell PowerEdge для корпоративных задач

Посмотреть серверы →

Для испытаний RAG на внутренних документах и для корпоративного ИИ-помощника с постоянной нагрузкой могут потребоваться разные вычислительные ресурсы. В первом случае достаточно проверить небольшую языковую модель на ограниченном наборе задач. Во втором важнее производительность при одновременных обращениях сотрудников.

Рассмотрим три варианта оборудования. Все сборки приведены как примеры для предварительного подбора. Их производительность необходимо проверить с выбранной языковой моделью и программным обеспечением.

7.1. Сервер для испытаний RAG на внутренних документах

Задача: проверить поиск по техническим инструкциям и внутренним регламентам. Компания хочет оценить качество ответов, прежде чем предоставлять доступ всем сотрудникам. На начальном этапе систему используют специалисты, которые занимаются ее разработкой и испытаниями.

Для такого сценария можно рассмотретьSupermicro SYS-510T-WTR с NVIDIA RTX A2000.

Пример конфигурации

Почему выбрана такая сборка

Intel Xeon E-2336 подходит для первоначального развертывания поисковых и вспомогательных служб. Видеокарта с 12 ГБ памяти позволяет рассматривать небольшие языковые модели, в том числе с уменьшенной точностью хранения параметров. Конкретная модель должна помещаться в видеопамять вместе с данными, необходимыми для обработки запросов.

64 ГБ ОЗУ предусмотрены для операционной системы, поисковых структур и прикладных программ. Два SATA SSD можно использовать для зеркального хранения данных. Для установки накопителей формата 2,5 дюйма в штатные отсеки 3,5 дюйма потребуются совместимые переходные корзины.

Что важно учитывать

Supermicro подтверждает поддержку RTX A2000, но конкретное исполнение видеокарты и необходимые элементы установки следует проверить отдельно. Кроме того, производитель снял SYS-510T-WTR с производства. Перед закупкой нужно уточнить доступность оборудования и условия его обслуживания.

Для испытаний такая конфигурация позволяет оценить работу ограниченного набора языковых моделей. Если потребуется запускать более крупную модель или обслуживать множество одновременных запросов, возможностей одного RTX A2000 может оказаться недостаточно.

7.2. Сервер для корпоративного ИИ-помощника

Задача: сотрудники разных отделов обращаются к внутренним инструкциям, регламентам и технической документации через единое приложение. ИИ-помощник должен регулярно обрабатывать вопросы и формировать ответы по найденным сведениям.

Для такой системы можно рассмотретьDell PowerEdge R660 с NVIDIA L4.

Пример конфигурации

Почему выбрана такая сборка

NVIDIA L4 имеет 24 ГБ видеопамяти. По сравнению с RTX A2000 на 12 ГБ она позволяет рассматривать языковые модели с большей потребностью в памяти или выделять больше пространства для обработки запросов. Однако допустимый размер модели зависит от ее архитектуры, способа запуска и длины входного текста.

Xeon Silver 4410Y выполняет задачи поисковой системы и обслуживает вспомогательные программы. Оперативная память объемом 128 ГБ предусмотрена для размещения поисковых данных и работы приложений.

Пара NVMe SSD подходит для размещения программ и поисковой базы. Использование зеркального хранения возможно при соответствующей настройке дисковой подсистемы.

Что важно учитывать

Dell PowerEdge R660 поддерживает NVIDIA L4, но возможность установки ускорителя зависит от комплектации слотов расширения и системы охлаждения. Для варианта с одним процессором нужно отдельно проверить доступность необходимого слота и поддерживаемое расположение устройств.

Объем видеопамяти сам по себе не показывает, сколько сотрудников смогут одновременно пользоваться ИИ-помощником. Например, длинные ответы и большой объем текста, который передается модели, способны заметно увеличить потребление ресурсов.

Поэтому предложенная сборка подходит для предварительной оценки корпоративного RAG с регулярными обращениями. Перед закупкой потребуется испытать выбранную языковую модель и определить фактическое время ответа при рабочей нагрузке.

7.3. Сервер для RAG с большим архивом документов

Задача: несколько подразделений работают с большим архивом технической документации, инструкций и внутренних материалов. База знаний регулярно обновляется. Одновременно требуется обслуживать обращения сотрудников и использовать более требовательную языковую модель.

Для такого сценария можно рассмотреть Dell PowerEdge R760 с двумя NVIDIA L40S.

Пример конфигурации

Почему выбрана такая сборка

Два Xeon Gold 5418Y дают в общей сложности 48 физических ядер. Их можно использовать для поисковых служб, обработки документов и других задач, которые выполняются на центральных процессорах.

256 ГБ оперативной памяти позволяют рассматривать размещение крупных поисковых структур. При этом необходимый объем ОЗУ зависит от размера индекса, настроек базы данных и способа хранения.

Основную вычислительную нагрузку при генерации ответов принимают две NVIDIA L40S. Каждая оснащена 48 ГБ видеопамяти. Ускорители можно использовать для запуска отдельных копий языковой модели или распределения одной крупной модели между двумя устройствами.

В предложенной комплектации предусмотрены отдельные накопители под операционную систему и поисковые данные. Для их установки необходимо выбрать исполнение R760 с подходящей дисковой корзиной и поддержкой NVMe.

Что важно учитывать

Dell PowerEdge R760 поддерживает установку двух NVIDIA L40S в предусмотренной производителем комплектации. Для них нужны соответствующие платы расширения, кабели питания и система охлаждения. Мощность блоков питания и допустимое сочетание всех устройств необходимо подтвердить при подготовке окончательной спецификации.

У NVIDIA L40S отсутствует поддержка NVLink. При распределении одной языковой модели обмен между GPU выполняется через PCIe. Это может влиять на производительность по сравнению с другими способами соединения ускорителей.

Также стоит учитывать, что суммарные 96 ГБ видеопамяти двух L40S не становятся автоматически единым пространством. Для использования памяти обоих устройств при работе одной модели необходимо соответствующее программное обеспечение.

Важно! Большая база документов сама по себе не требует двух видеокарт L40S. Такой вариант оправдан, когда вместе с объемным архивом компания использует требовательную языковую модель или планирует интенсивную одновременную обработку запросов.

Если задача сводится преимущественно к поиску по большому массиву документов с редкой генерацией ответов, стоит отдельно оценить более простую конфигурацию.

Сравнение серверов для разных задач RAG

Перед выбором сервера нужно определить, как компания планирует использовать систему.

— Редакция CRABBIT

Приведенные характеристики показывают варианты оснащения для разных сценариев. Они не устанавливают минимальные системные требования к RAG. Итоговую конфигурацию необходимо рассчитывать с учетом выбранной языковой модели, поисковой базы и ожидаемого количества одновременных запросов.

Если компания планирует запуск RAG на собственном оборудовании, специалисты CRABBIT помогут подобратьсерверную платформу, проверить совместимость комплектующих и подготовить спецификацию для закупки.

Вопросы и ответы