NVIDIA 全栈协同设计如何解决 AI 的内存挑战

更大的模型、更长的上下文和智能体应用正在加大 GPU 显存压力，与此同时供应趋紧、价格上涨——预计这一趋势短期内将持续。

NVIDIA 与内存合作伙伴紧密协作，以快速采用最新的内存技术。NVIDIA 是率先将 HBM3e 和 HBM4 技术引入加速计算堆栈的公司。

但这种方法并不是简单地把更多内存塞进 GPU，而是全栈协同设计。NVIDIA 有意将 GPU、CPU、网络、存储和软件设计在一起，以便在 AI 工厂的每一层从内存中获得更多有效工作。

这很重要，因为 AI 工厂依靠内存与存储层次结构运行。GPU 高带宽内存（HBM）是最快、最昂贵、争夺最激烈的一层——模型权重和 KV 缓存争抢有限的容量。其下是 CPU 内存、本地 SSD 和共享存储，每一层都以速度换取更大的容量和更低的每比特成本。

每个字节能完成多少有效工作，取决于整个层次结构被利用得好不好：缩减必须存储的内容、把它放到合适的层级，并在需要之前将其送回 GPU。

就每字节而言，NVIDIA 在每一层都最高效地利用内存——结果也证明了这一点。从 NVIDIA Blackwell Ultra 到 Vera Rubin 平台，每 GPU 的 HBM 容量提升了约 3%，而在 SemiAnalysis AgentX 上，每美元的智能体吞吐量提升了高达 30 倍。

智能体推理给 HBM 带来更大压力

前沿模型现在拥有数万亿参数——这些数值承载着 AI 模型在训练中学到的内容。

KV 缓存保存着模型理解每个活跃请求所需的上下文，使其无需重复处理相同信息，它也在不断膨胀。智能体轨迹会在反复的模型和工具调用中携带先前上下文，有些情况下要处理多达 300 万个 token，因此每个请求的工作内存会随时间增长。

检索增强生成（RAG）会在提示中添加相关企业信息，产生更多需要处理和保留的上下文。

在推理期间，HBM 主要同时容纳模型参数和 KV 缓存。结果就是：HBM 压力更大。

为什么 AI 工厂需要内存层次结构

为每块 GPU 增加更多 HBM 容量是应对这种压力的直观做法，但容量只能交付带宽所能搬运的量。

把 HBM 想象成一个仓库，内存带宽就是它的装卸码头。更大的仓库能容纳更多库存，但码头决定了一次能进出多少货物。一旦码头满负荷，移动更多库存就会耗时更久并拖慢响应时间。如果延迟超出所需的服务水平，增加的空间就无法被有效利用，同时还增加成本和耗电。

这也是为什么没有任何运营会把所有库存都放在最近、最快的空间里。正在流动的货物留在产线附近；等待的货物则被移到附近更大、更便宜的空间，并在需要之前运回。

AI 工厂面临同样的限制。

更多的 HBM 可以容纳更大的 KV 缓存，并支持更多并发用户。每增加一个用户，都会共享相同的算力和内存带宽。但当每个用户都期望快速响应时，最终内存带宽将无法像算力消耗数据那样快速地供给数据：工程师将这一限制称为内存墙。

越过这个临界点后，多余的 HBM 容量无法被利用，却仍会增加成本并消耗电力。数据仍然需要有地方存放，但并非所有数据都需要放在最快、最昂贵的存储层级。这就是 AI 工厂要在内存和存储层级之间管理数据的原因。

通过全栈协同设计最大化每一字节的价值

NVIDIA 的全栈协同设计通过缓解模型权重、KV 缓存和 RAG 数据带来的压力，让每一字节 HBM 都物尽其用。它采用的每种技术都针对不同的低效来源：

压缩模型权重并分发到 NVL72 域中。

与 NVIDIA Hopper 平台上可实现的最低精度 FP8 相比，NVFP4 格式减少了权重所需的空间。最近发布的多个模型，包括 Black Forest Labs 的 FLUX.2 [klein]、Thinking Machines Lab 的 Inkling、Reflection 的 Beam 1.0、Meta 的 Meta Muse Spark、StepFun 的 Step 5 Preview 以及 NVIDIA Nemotron 3.5 Super VL，都已随 NVFP4 检查点一同发布，表明模型构建者正越来越多地采用 4 位精度，以实现更快、更省内存的推理。
在一个 NVL72 系统中，模型权重可以分布到多达 72 块 GPU 上，因此每块 GPU 只持有模型的一小部分——从而为 KV 缓存和并发用户留出更多 HBM。

压缩 KV 缓存并将非活动上下文卸载到成本更低的存储层级。

将 NVFP4 应用于 KV 缓存可相比 FP8 减少其占用空间，因此更多上下文可以驻留在 HBM 中。
NVIDIA Vera CPU 在两个方面提供帮助。更快的工具执行缩短了 KV 缓存在工具调用期间处于非活动状态的时间，而其通过 NVIDIA NVLink-C2C 互连与 NVIDIA Rubin GPU 相连的大容量 LPDDR 内存，为暂停的上下文提供了就近的等待场所，并可快速返回。
当上下文不再被主动使用时，NVIDIA Dynamo 推理软件会将其移动到NVIDIA CMX 上下文内存存储——这一层级专为容量而设计，每比特成本远低于 HBM——并在复用前将其返回。与本地 SSD 不同，CMX 可跨服务器共享；与企业级存储不同，它省去了短暂存续的上下文并不需要的长期数据保护开销。NVIDIA CMX 上下文内存存储的合作伙伴包括 Cloudian、DDN、Dell Technologies、Everpure（前身为 Pure Storage）、HPE、IBM、NetApp、VAST 和WEKA。
Dynamo 的 KV Cache Reuse 将这些层级连接在一起，将 KV 缓存作为横跨 GPU 内存、CPU 内存和存储的全系统单一资源进行管理，因此计算一次的上下文可以在整个系统中复用。

紧凑的 RAG 嵌入以及将索引置于 HBM 之外。

RAG 将企业文档转化为嵌入（embedding）——一种让系统能够按语义而非关键词进行搜索的数值表示——并组织成可搜索的索引。NVIDIA Nemotron Retriever 模型能够以更小的嵌入实现更高的检索准确率，而 NVIDIA cuVS 库支持在 CPU 和存储上构建并提供该索引服务。知识库永远不会占用 HBM，只有模型所需的段落才会进入上下文。

其结果是：用于模型权重的 HBM 更少，被闲置上下文占用的 HBM 更少，而可用于服务并发用户的 HBM 更多。

每一代平台带来每美元更高的有效输出

在 NVIDIA 一代代平台的发展历程中，每美元每秒 token 数的增长速度远超 HBM 容量的增长速度。

在 SemiAnalysis AgentX DeepSeek V4 Pro 工作负载上，在每用户每秒 100 token 的速度下，NVIDIA GB300 NVL72 的每美元吞吐量最高可达 NVIDIA H200 平台的 10 倍，同时每 GPU 的 HBM 容量大约翻倍。在每用户每秒 125 token 的速度下，Vera Rubin NVL72 的每美元吞吐量最高可达 GB300 NVL72 的 30 倍，同时每 GPU 的 HBM 容量仅增加约 3%。

对于 AI 工厂运营者而言，真正重要的指标是工厂在满足用户响应时间需求的前提下，能在其功耗预算内交付多少有效 token。每瓦特每秒更多的 token 意味着用相同的电力完成更多工作、创造更多收入，并降低每个 token 的成本。NVIDIA 的全栈协同设计通过提升每一字节内存所创造的有效工作量来降低 token 成本。

更多信息请观看视频讲解和技术深度解析，了解 NVIDIA 全栈协同设计如何缓解推理内存压力。