突破内存瓶颈（上）：CXL 如何解锁 KV Cache 所需的内存容量
Breaking the Memory Bottleneck Part 1: How CXL Unlocks the Memory Capacity KV Cache Needs
2026 年上半年，AI 推理的核心约束从算力转向内存，KV Cache 需求激增叠加内存供给有限，成为主要瓶颈。以 Llama 3 70B FP16 为例，模型权重约 140GiB，但 KV Cache 在 64K 上下文时达 160GiB，128K 时膨胀到 320GiB，约为权重的 2.3 倍。
在大部分 AI 建设期，稀缺资源是算力。到 2026 年，关键制约因素已转向内存，而压力点正是 KV Cache——推理的工作内存。它的占用随着上下文中每多一个 token、批处理中每多一个用户而增长。2026 年上半年，KV Cache 需求激增叠加内存供应有限，导致了严重的内存瓶颈。
如今，芯片厂商、云服务提供商（CSP）和基础设施供应商正从两端共同解决这一问题。本系列第 1 部分探讨容量扩展：CXL 技术和 KV Cache 卸载如何在内存层级中创造一个新层级，以及哪些公司已在这一进程中布局。第 2 部分探讨占用压缩：注意力机制的改进和 KV Cache 量化如何从一开始就缩小 KV Cache 所需的空间。
KV Cache 为何成为瓶颈
如果你读过我们之前关于 AI 内存 的文章，你会记得 KV Cache 是推理过程中使用的专用内存空间，用于存储在 prefill 阶段生成的 KV（Key-Value）向量。通过从 KV Cache 读取而不是在每个解码步骤重新计算这些向量，AI 模型大幅提升了推理效率。
问题在于 KV Cache 是动态分配的。它的内存占用随上下文窗口和批处理大小（batch size）同步扩展：
Total Size of KV Cache (Bytes) = 2 × layers × KV heads × head dimension × sequence length × batch × precision (Bytes)
以 FP16 加载、不带 GQA（使用标准 MHA）的 Llama 3 70B 为例。模型权重占用约 140GiB，因此在初期，大部分可用内存容量都用于存储权重。但随着上下文窗口扩展（假设批处理大小为 1），KV Cache 在 64K 时占用 160GiB，已经超过模型权重所需的内存容量。到 128K 时，它会膨胀到 320GiB，约为模型权重的 2.3 倍。KV Cache 成为内存耗尽的主要驱动因素。
在付费墙之后，我们深入探讨旨在解决 KV Cache 瓶颈的容量扩展方案：
CXL 的运行机制
Enfabrica 的 EMFASYS
Penguin Solutions 的 MemoryAI KV Cache Server
Marvell 的 Structera S
Meta 的 Vistara 和 MemServer
来源： TrendForce Insights 半导体产业洞察 · insights.trendforce.com