Agentic AI 改变 CPU 与 GPU 的算力平衡

要点速览：

• 智能体 AI、推理模型、混合专家架构和储备池计算正在改变 AI 工作负载使用计算资源的方式。
• 智能体 AI 尤其受欢迎，由于它需要更多的 CPU，CPU 供应正面临压力。
• 混合专家模型正变得非常流行，能够实现只需加载更少参数的专项查询。

卷积神经网络（CNN）和大语言模型（LLM）主导商用 AI 已有一段时间。Meta 等公司的专有推荐模型也产生了重大社会影响，尽管每家此类公司仅使用各自的一个模型。GPU 为许多这类模型承担繁重计算。但智能体 AI 需要更多编排，而这正是 CPU 的用武之地。

当 AI 的唯一任务是运行一个模型时，它依靠 GPU 或专用神经处理单元（NPU）。智能体仍会使用这些模型，但每个模型只是解决方案的一部分。这些智能体必须根据模型返回的结果做出决策，这需要 if-then-else 逻辑，而这正是 CPU 擅长的，GPU 则不然。据一些行业估计，智能体工作负载可能将 CPU 与 GPU 的比例从 1:4 改变至低至 1:1。

更新型号的模型也在涌现，其中大多数仍基于 LLM 基本原理。与智能体 AI 不同，推理模型、混合专家（MoE）模型和储备池计算仍然依赖 GPU。但它们也非常适合被智能体使用。

像素与解析
多年来，实用、商用的 AI 意味着 CNN 和循环神经网络（RNN）。前者擅长分析摄像头输入，后者精通分析声音和语言。LLM 中的第二个“L”代表“语言”，但如今 LLM 的作用远不止语言。其概念是将一段文本抽象为一个 token，而现在几乎任何东西都可以成为 token。

LLM 相较于 RNN 的优势在于它们可以维护任意长的上下文，这使它们在解释和生成文本时更善于挑选合适的词语。此外，RNN 所需资源更少，并且可以立即分析输入的声音帧而无需等待建立上下文，从而改善实时响应。

早期 LLM 的挑战在于它们只有一项工作——预测序列中可能的下一个词。这个词在语法上必须说得通，但不一定在语义上说得通，它当然也不会核查事实以确保正确性，因此频繁出现“幻觉”。

改进这一点的一种方法是通过检索增强生成（RAG）。模型不再只是凑出一个可能行得通的词，而是可以访问包含真实事实的“嵌入”，帮助生成在语法、语义和事实上都正确的文本。

秘密智能体
如今的热门话题当然是智能体 AI。智能体是一种新的实体，不是替代或修改 LLM（或任何其他模型）的东西。它实际上代表更高的抽象层级，充当模型的编排者。它本身不是模型，尽管它必须经过训练。

“有一些新研究指出，智能体推理的规模将超过此前所有应用的总和，”Delos Data 首席执行官兼联合创始人 Ed Doe 表示。

智能体的核心意义在于，它不仅仅是找到问题的答案，还要对这个答案做点什么。它所做的事情很可能取决于到目前为止收到的答案。换句话说，它可以向模型发送 token，并在收到结果后决定下一步该做什么，从而开始一系列的决策与行动。

一个训练良好的智能体应该能在没有严格监督的情况下处理一组任务。Cadence 数字与签核集团的产品管理总监 Rob Knoth 解释道：“如果作为领导者，你必须告诉团队完成任务的每一个步骤，你会被每一步都消耗掉大量精力。但如果你说，‘我需要你去那边把这项工作完成’，那么你就可以专注于另一项任务，偶尔查看一下确保事情进展顺利。”

这是一个全新的领域。Arm 云与 AI 基础设施芯片全球负责人 Satadal Bhattacharjee 指出：“自去年以来，智能体 AI 开始腾飞。现在你可以说，‘我想去哥斯达黎加玩 10 天。我需要酒店、租车和这些公园的门票。这是我的预算。去把所有这些都预订好。’你给它一个大纲，就像对旅行代理一样，然后智能体会调用 API 代表你采取行动。”

CPU 的新任务
智能体的决策通常涉及 if-then-else 分支，而这并不是 GPU 擅长的。CPU 在这类决策密集型代码上表现好得多，因此它们正在成为计算集群中更重要的一部分。对于典型的 LLM 来说，CPU 主要充当主机，负责设置并通过 PCI 管理诸如横向扩展之类的通信。这是相对较轻的 CPU 负载，使其能够同时为多个 GPU 承担主机职责。CPU 与 GPU 的比例因系统而异，但对于典型的 LLM 来说大约是 1:4。

有了智能体，CPU 将会更忙碌地做实际工作（而不仅仅是让 GPU 去做工作）。因此，虽然 GPU 长期以来一直是舞会的焦点，但随着 CPU:GPU 比例接近 1:1，CPU 正在重新获得尊重。这也将提高对 CPU 的需求，从而可能推高价格。

Synopsys IP 战略营销经理 Ron Lowman 表示：“过去的挑战是每个 CPU 能搭配多少个 AI 加速器。有了智能体 AI，CPU 负载需求增加了，因此比例发生了变化。”

Bhattacharjee 表示赞同。“CPU 需求大幅上升，因为每个人都在寻找更多的算力，并以高能效的方式来运行这些智能体，”他说。

“在过去 18 个月里，所有人都在追捧智能体 AI，”QCI 的 CTO Yong Meng Sua 说。“这就是现在 CPU 变得非常昂贵的原因。”

“CPU 回来了，但它的使用方式与数据中心其他部分以往的使用方式截然不同，”Doe 说。

智能体查询对算力的要求也更高，因为向智能体发送一个请求，通常会在智能体完成其一系列任务的过程中产生许多查询，而不只是单个查询。

更先进的智能体还必须理解时序编排，而这可以通过编程实现。“其中也有编程的部分，”Arm 的 Bhattacharjee 说。“你可以运行 JSON 脚本来进行调优和时序编排。智能体还有很大的发挥空间。”

展示你的工作
早期模型的另一个挑战是人类无法理解它们。模型是一大团数字，而且实际上没有任何单个数字能对应任何物理或事实性的事物。训练得到的权重并非神圣不可改变。训练从随机权重开始，经过多轮迭代逐步精炼。如果初始的随机赋值不同，训练将演化为一个不同的——但依然正确——模型。

那么，即使你的解只是众多可能正确模型中的一个，你如何证明它是正确的？没有确定性的方法可以追溯一个基础模型是如何执行其计算的，这使得对必须保证（例如）安全性的系统进行认证变得困难。而且，随着前沿模型表现糟糕并逃出其沙盒，安全的概念也在不断扩展。

推理模型在生成查询答案之前会进行额外的推理，某些情况下还会提供其得出答案的过程说明。Bhattacharjee 说：“推理是指模型运用它对该主题的知识、你与模型此前讨论的上下文，以及它对提问者的了解。所以推理是模型现在进行更深层思考并得出更好回答的过程。它在覆盖更广范围的意义上更加全面，而不仅仅是回答所提出的问题。”

推理模型同样需要训练，因此如果推理中的某个特定步骤出错，这种反馈可以改进未来查询的表现。

推理环节涉及更适合 GPU 而非 CPU 的计算。Bhattacharjee 说：“推理通常是模型推理的一部分，主要在 GPU 或其他 AI 加速器上运行。思考涉及生成额外的 token 和神经网络计算，这些工作最好由加速器来完成。”

推理模型已实现商用。Bhattacharjee 补充道：“OpenAI 的 O 系列模型和 DeepSeek-R1 就是已商业化部署的推理模型的例子。”

众包（还是云包？）
LLM 是极其庞大的模型，让每个 token 都经过整个模型的计算非常消耗资源。有两种方法试图驯服这些模型的规模。

简单的一种是小语言模型（SLM）。它不再试图把整个互联网和人类知识都装进一个模型，而是专注于一个专业领域，并在该领域接受非常充分的训练，除此之外一概不涉及。SLM 是一个自包含的模型，可以独立运行。

然后，一种日益流行的技术是在专家混合（MoE）模型中把单个模型层的部分划分出来作为专家。在给定的层上，可以建立多个相互独立的专家。每个专家都有自己的一组权重，使其更擅长处理某些 token。

Bhattacharjee 解释道：“模型的部分稠密前馈网络（FFN）层被多个独立的 FFN（即‘专家’）以及一个学习得到的路由器所取代。”

“早期我们在大语言模型中看到这样的扩展规律：只要增加参数，就能获得更好的性能，”Synopsys 接口 IP 产品管理总监 Priyank Shukla 解释道。“有了混合专家模型，你不再只有一个大型参数模型，而是拥有多个专家模型，因此整个流程不需要 10 万亿参数。你把它拆分，比如 1 万亿参数负责法律工作，1 万亿负责数学工作。而前端模型会把查询发送给正确的模型。”

有一个通用模型会先说，“让我理解一下问的是什么问题”，这被称为预填充阶段。“在那个阶段，它会解析你的提示词以理解上下文，”Bhattacharjee 说。“然后它会与一系列专家模型协同工作。一旦它理解你的问题与比如说医疗健康相关，就会有一个在医疗健康领域训练过的专家模型。”

门控函数或路由器会为给定的 token 决定将其发送给哪个专家。理论上，它可以发送给所有专家，但通常只有一个或两个专家会处理它。训练按常规方式进行，但路由器也通过观察训练过程中哪些专家在不同 token 上表现最佳来得到训练。这使它能够在推理时正确地分配 token。

反映推理过程中到目前为止所有发生内容的上下文存储在键值缓存（KV cache）中。它随着处理的进行而不断增大，并驱动未来的决策。它将被发送给选定的专家。

“我们必须从与相关专家混合模型交互的第一个模型传输 KV 缓存，”Synopsys 的 Shukla 说。

路由器也在加速器上执行。“路由或门控函数是模型本身的一部分，通常与模型一起在加速器上执行，”Bhattacharjee 指出。

最后，专家的划分发生在训练阶段。“专家是联合训练的，通常不是手动分配的，”他说。

当将 MoE 与另一种专业化策略——小语言模型——直接比较时，这种区别就更加清晰了。

SLM 对比 MoE
SLM 和 MoE 在两个关键方面有所不同。SLM 可以处理整串 token，而给定的专家只会处理字符串中的某些 token。SLM 是更小的模型，运行所需的资源更少。MoE 则构成更大的模型。普通的 LLM 只有一个专家（覆盖所有内容），而 MoE 为同一任务提供多个专家，使其模型比等效的纯 LLM 更大。但它仍然可能小于那种整个模型必须在不使用专家的情况下覆盖所有领域所需训练的规模。

图 1：SLM 对比 MoE。专用的 LLM 可以精简为一个 SLM，而 MoE 模型在模型的关键部分有多个选项，由路由器决定哪些“专家”将处理下一个 token。来源：Bryon Moyer/Semiconductor Engineering

此外，MoE 模型可以拥有更广泛的覆盖范围，其内嵌的专家涵盖广泛的主题。SLM 只覆盖狭窄的范围，因此它能处理的材料更为有限。

MoE 模型往往比常规的“稠密（dense）”模型更大，因为一个关键的前馈层可能被多个专家取代。这意味着总参数量可能超过标准模型，但由于任一时刻只有少数专家在运行，并非所有参数都需要被读取。

Bhattacharjee 解释说：“MoE 模型的总参数量可以非常大，因为它包含多个专家，但每个 token 只激活其中一部分专家。这种稀疏激活是关键优势。它使模型能够提升整体容量，而无需每个参数都参与每一次推理运算。”

MoE 模型在功耗方面的影响则不太明确。Bhattacharjee 表示：“尽管 MoE 模型可能包含更多的总参数，但每个 token 通常只激活其一部分专家。这意味着与总参数量相当的稠密模型相比，它每个 token 所需的计算量可能更少。代价是路由、内存访问和设备间通信会引入额外开销，因此效率越来越取决于整体系统的设计，而不仅仅是参数数量。”

随机储备池
一种相当冷门的模型类型叫做储备池计算（reservoir computing）。它的适用范围仅限于处理时间序列，但比典型模型更容易训练，因为模型的大部分是随机的。训练过程只影响最后一层，该层将随机部分产生的结果映射为正确答案。

Bhattacharjee 说：“这是一种针对动态时间输入的专用方法，特别适用于低功耗、快速适配，以及简单训练具有价值的场景。”

由于模型的大部分内容并不重要，它们可以被硬编码到硅片中，只有最后一层接受训练后的权重。它所需的能量也少得多，因为只需读取最后一层的权重。

这类 AI 并不常被提及，但它可用于语音或音频识别、处理传感器数据和控制机器人上的电机，以及序列建模，包括天气和金融市场等应用的时间序列预测。

Quantum Computing Inc.（QCI）正在筹备推出一款光子版本的储备池计算机。QCI 量子技术负责人 Prajnesh Kumar 表示：“你可以用其他方法实现储备池计算，但在所有方法中，光子学是最佳选择之一，因为它的带宽。”

光子学的一个优势是它最终可以利用波分复用（WDM）来提升生产力。Kumar 解释说：“假设你有 10 个波长。你可以在这 10 个波长上放置 10 个不同的任务。如果它们的内核相同，你就可以并行执行 10 个操作，而不会产生任何干扰。”

这样，他们就能应对需要高性能和低功耗的特定任务。Kumar 说：“有一些未来的应用，比如垂直起降飞行器，需要进行轨迹规划。你不希望飞行器相撞。我还一直在与一位教授交流，他一直在使用我们的上一代产品分析脑信号，研究能否根据大脑活动将癫痫与其他疾病进行分类。还有一些应用，更多面向某些军事和国防领域。”

总而言之，这些专门化的方法拓展了 AI 的版图，而不是指向某种单一的主导架构。

多种模型类型
不同模型类型的数量持续演变，而且短期内不太可能改变。如今，CNN 仍占有一席之地，LLM 和智能体 AI 是最主要的强大力量，MoE 也正在获得关注。推理模型尚未普及，但也有自己的细分领域，储备池计算同样如此。

这些技术大多仍依赖 GPU（或其他 NPU）来完成繁重的计算。最大的例外是智能体 AI，它提升了对 CPU 的需求，同时丝毫没有减轻 GPU 的压力。

像注意力和 Transformer 这样的新突破是否会定期出现，仍有待观察。但就目前而言，开发者正在利用现有技术全力探索更好的使用方式——而且看不到尽头。

参考资料
1. Michael te Vrugt，“An introduction to reservoir computing”，即将收录于图书章节：Artificial Intelligence and Intelligent Matter，Springer，Cham， arXiv:2412.13212v1 

相关文章
智能体 AI 正在改变数据中心架构
独立的 GPU 正在被异构 SoC 和小芯片（chiplet）取代，它们将 CPU、GPU 和 NPU 结合在一起，以消除内存瓶颈、降低延迟并提升效率。