别再数 token，改算交付了多少软件——HPE 混合 AI 平台的经济账

当开发者给 AI 智能体一个编码任务时，智能体不只是回答一次。它会规划、生成代码、运行测试，并重复这一过程来纠正错误。一个任务消耗的 token 可能是基本聊天提示词的 10 到 50 倍。智能体越有用，它发起的调用就越多。在按 token 计费的模式下，创造最多价值的工作流也可能变得最昂贵。

财务压力已经显现。据报道，Uber 在扩大 Claude Code 的使用后，到 4 月就用完了整个 2026 年的 AI 预算。GitHub Copilot 从固定费率转向了按量计费的额度。Gartner 预测，到 2028 年，AI 编码的 token 成本将超过开发者的平均薪资。

自然而然的做法是配给：设置用量上限、席位限制，以及在开发者启动智能体前进行审批。但一刀切的限制可能会束缚那些正在创造价值的工作流。它们优化的还是错误的指标。每 token 成本衡量的是消耗，而不是结果。有些支出反映浪费，包括重试和失控的循环；有些则代表着交付软件的工作。计量表无法区分二者，支出上限同样无法区分。

衡量真正交付的软件

更好的指标是每个合并拉取请求的成本：AI 辅助开发的总成本除以通过评审并被合并的变更数量。同时跟踪返工和缺陷，以免更便宜的变更掩盖了更低的质量。

如果随着 AI 使用量上升，这项成本在质量不受损的情况下下降，那么开发者正在把更多消耗转化为有用的软件。问题不在于他们使用了多少 token，而在于这笔投入产出了多少已完成的工作。

改善这一等式需要两项改变：把昂贵的推理留给真正需要的任务，并降低日常工作的成本。

让模型与任务相匹配

智能体编码并不需要在每一步都使用最强大的模型。对于困难的规划和新颖的推理，使用前沿模型，或在政策要求时使用本地部署的旗舰模型。把合适的工作，包括代码生成、测试编写和重复性重构，路由到你自托管的开放权重模型上。

网关可以根据任务复杂度、数据敏感度、成本和延迟来路由请求。这把高级推理留给了真正值得的时刻，而不是对整个工作流都套用高级定价。计量例外，而不是整个工作负载。

开放权重模型让这种分工日益可行。软件工程基准测试显示，领先的开放权重模型在某些任务上可以接近前沿模型的性能。但这并不等于在每一个代码库或工作流上都等效。在分配生产任务之前，请用你自己的代码、测试和验收标准来评估候选模型。

改变重复使用的经济学

接下来，决定由谁来拥有算力。使用租用的推理服务时，每次调用都会增加账单。拥有自有算力时，大部分成本是前期投入的，因此随着使用量增长，每次额外调用的成本会越来越低。

经济学原理很简单：按 token 计费让重度使用变得更贵，而自有算力则随着团队使用越多而越高效。不过，所有权并非免费。电力、运维、维护和折旧都必须考虑在内。真正重要的数字是每个合并拉取请求的完全负担成本。

自建算力还能带来一种永远不会出现在发票上的价值：对敏感代码的掌控。当代码生成和测试在本地运行时，专有代码就留在企业内部。只有经过审批的规划提示词和受治理的例外情况，才会通过组织自行控制的网关发送给外部模型。这打开了那些通常因安全问题而阻碍采用的敏感代码库，而最大的收益恰恰就在那里。

测试运营模式

在 HPE，一个混合 AI 平台将来自 150 多个内部应用的常规工作负载，路由到本地运行的开放权重模型上，包括在 HPE Private Cloud AI 上运行。结果是：token 成本下降了 30% 至 50%。

这正是混合模式的意义所在。借助 HPE Private Cloud AI，自建推理并不意味着放弃前沿模型。在你拥有的算力上运行大批量任务，并让网关将最难的工作分流出去。

数据还表明，驱动支出的是使用量，而非授权人数。使用量最高的 5% 用户产生了大部分消耗，而在同一许可证下，最重度用户的用量大约是最轻度用户的 450 倍。如果重度用户从少数群体增长到占员工总数的一半，在人数不变的情况下，月支出可能上升约 4.4 倍。你的具体情况会有所不同，而这正是你需要进行测量的原因。

HPE 追踪两项指标，并建议客户也这样做。第一，追踪每个活跃开发者的成本，因为对所有许可证取平均值会掩盖推动支出的重度用户。第二，追踪每次合并的拉取请求的成本，因为它将 AI 支出与实际交付的软件联系起来。

在更改基础设施之前，先对这两项成本建立基线。然后在自有算力上运行一个完整的开发周期。如果随着使用量增长，这两项指标没有改善，那么你当前的模式可能仍是更好的选择。

为普及而建设，而非配给限制

自建算力并不适合所有人。使用量低或不可预测时，API 更有优势，因为没有资金被闲置的基础设施占用。当持续的需求让设备保持忙碌时，自建才能体现价值。大多数企业会采用混合模式：前沿 API 用于要求高或间歇性的工作，自有算力用于可重复的大批量任务。由受治理的网关决定什么内容可以离开企业，这样你既能使用前沿模型，又不会放弃对代码的主权。

随着开发者越来越依赖编码智能体，使用量将持续上升。真正的选择是：这种增长是体现为更大的可变成本账单，还是体现为在你自有算力上交付的更多软件。在 AI 辅助开发领域领先的公司不会为控制成本而限制采用。他们会构建一种运营模式，让更多的 AI 使用改善经济效益，而不是削弱它。

要了解关于 HPE Private Cloud AI 的更多信息，请访问 HPE。

本内容由 HPE 制作，并非由《麻省理工科技评论》编辑团队撰写。