突破内存瓶颈（二）：科技巨头如何缩小 KV Cache 占用

第一部分探讨了容量扩展：Enfabrica、Penguin Solutions、Marvell 和 Meta 如何利用 CXL 增加 KV Cache 的内存容量。但扩展物理内存容量只是对抗瓶颈的一种方式。另一种方式是通过模型架构和算法上的创新，降低 KV Cache 实际所需的容量。

例如，研究人员重新思考了模型实际需要保留多少 Key-Value 向量。与此同时，另一条研究路线则探讨这些向量是否真的需要以全精度存储。 但即使 KV Cache 的容量需求降低了，其读取速度仍可能很慢。一些公司正在直接解决这一带宽问题，重新思考模型最初生成 token 的方式。

付费内容中，我们将深入解析：

• Google 和 DeepSeek 如何通过 GQA 和 MLA 改造注意力机制

• NVIDIA 的 KVTC 和 Google 的 TurboQuant 如何将 KV Cache 量化压缩至原始大小的一小部分

• Google、Meta 和 DeepSeek 如何竞相解决解码带宽瓶颈，从 MTP 到 DiffusionGemma

• TrendForce 观点：解决 KV Cache 瓶颈对内存需求意味着什么

相关报告：突破内存瓶颈：CXL 扩展与 KV Cache 压缩创新

阅读更多