Представлен программно‑аппаратный AI KV‑cache offloading от «Тантор Лабс» с управлением в платформе «Боцман»

«Тантор Лабс» и разработчик платформы контейнеризации и управления ИИ-инфраструктурой «Платформа Боцман» (обе компании входят в «Группу Астра») представили новую программно-аппаратную технологию хранения кэша ключей и значений (KV-cache) без использования памяти DRAM. В отличие от решений с программной оптимизацией кэширования, уникальная для российского рынка технология работает на уровне специализированного оборудования и позволяет использовать для кэша нейросетей специализированное NVMe-хранилище контекстной памяти (context memory storage), снижая зависимость от ограниченного объёма дорогостоящей HBM-памяти GPU и DRAM. Это резко увеличивает число одновременно обслуживаемых пользователей, ускоряет инференс и сокращает задержки обработки запросов, масштабируя корпоративные ИИ-сервисы без пропорционального увеличения количества ускорителей. При этом скорость доступа к данным сопоставима с показателями DRAM, но с более низкой стоимостью за терабайт.

По мере роста числа пользователей корпоративных ИИ-сервисов и длины контекста нейросетей увеличивается объём KV-cache — кэша промежуточных вычислений, необходимых для генерации ответов большими языковыми моделями. В процессе эксплуатации кэш увеличивается вместе с длиной контекста и количеством пользователей, занимает значительную часть ограниченной видеопамяти GPU, и когда доступного объёма не хватает, инфраструктуре приходится ограничивать число одновременных запросов, задействовать дополнительные ресурсы или выполнять вычисления повторно. Это увеличивает задержки и стоимость эксплуатации ИИ-сервисов.

Представленное решение опирается на программно-аппаратный модуль, позволяющий переносить KV-cache из ограниченной HBM-видеопамяти GPU во внешнее NVMe-хранилище по протоколу RDMA и повторно использовать сохранённые данные при обработке запросов. В отличие от подходов, основанных на только программной организации внешнего кэширования, здесь используется специализированный аппаратный KV-движок доступа к данным по ключу. Он ускоряет операции с KV-cache, резко снижая нагрузку на центральные процессоры серверов и позволяя эффективнее использовать ресурсы GPU. Решение интегрируется с vLLM, LMCache и NVIDIA Dynamo и встраивается под существующий стек инференса без переписывания прикладного кода.

Архитектура аппаратного модуля обеспечивает низколатентный доступ к данным в рамках распределённой инфраструктуры Storage AI с использованием сетевых адаптеров 400 GbE (ConnectX‑7),технологий RDMA и NVMe-oF. GPU-серверы с движком инференса vLLM взаимодействуют с отдельным узлом хранения на базе NVMe SSD. Модуль ускоряет инференс, сохраняет вычисленные KV‑кэши в распределенное масштабируемое хранилище Storage AI, загружает при повторных запросах, избегая перерасчетов, а также распределяет их между GPU, vLLM‑экземплярами и пользователями. Это позволяет эффективнее использовать видеопамять и поддерживать рост нагрузки без пропорционального увеличения количества GPU.

Новое решение от «Тантор Лабс» и «Боцман» также позволяет реализовать дезагрегацию вычислительных ресурсов и хранения контекстной памяти (Compute–KV Storage Disaggregation) — архитектуру, в которой GPU-серверы выполняют инференс, а KV-cache хранится отдельно, в общем масштабируемом NVMe-хранилище. Благодаря этому контекстная память становится доступной всем GPU-серверам инфраструктуры, а её использование теряет привязку к конкретному ускорителю или серверу. При этом не требуется отдельно оркестрировать распределение кэша между серверами: аппаратный модуль обеспечивает доступ к сохранённым данным и их повторное использование, помогая эффективнее задействовать вычислительные ресурсы и масштабировать ИИ-сервисы независимо от объёмов вычислений и хранимого контекста.

Эффект от использования аппаратного решения оценивался в испытаниях на одинаковых серверах, LLM и нагрузке. Применение модуля позволило обслуживать в четыре раза больше клиентов на тех же GPU-мощностях при соблюдении заданных требований к задержке. Таким образом, заказчик получает «горячий» контекст на скорости, сопоставимой со скоростью памяти DRAM, при ёмкости и стоимости как у NVMe-накопителей. С точки зрения отдачи на вложенный бюджет стоимость на запрос и на токен становятся ниже, а один и тот же парк GPU позволяет обрабатывать больше запросов (RPS).

Программная поддержка внешнего хранения KV-cache и интеграция в инфраструктуру эксплуатации ИИ-моделей реализованы в Платформе «Боцман», которая обеспечивает развёртывание, публикацию, обновление и масштабирование, управление вычислительными ресурсами на базе Kubernetes, маршрутизацию запросов через OpenAI-совместимый API, а также мониторинг и контроль потребления ресурсов. Таким образом, заказчик получает уникальную для рынка готовую технологию, встроенную в процессы эксплуатации и масштабирования ИИ-сервисов.

О продуктах

Tantor Context Memory Storage (CMS) — программно-аппаратное хранилище контекстной памяти LLM, основанное на подходе KV-cache offloading из памяти GPU в NVMe-oF по протоколу RDMA. Решение обеспечивает сопоставимую с DRAM производительность при меньшей стоимости. 

«Боцман» — гибридная платформа контейнеризации для управления Kubernetes-кластерами в разных облаках. Упрощает запуск ИИ-задач и повседневных приложений, ускоряет разработку, снижает нагрузку на команды и обеспечивает полный контроль над инфраструктурой в закрытых и высокозащищённых контурах.