设计经久耐用的 AI 推理服务架构（serving harness）

企业 AI 的下一个竞争优势，与其说取决于你选择哪个模型，不如说取决于你围绕它构建了什么。

这是一个重要的转变。过去几年，关于 AI 的讨论大多集中在模型能力上：更大的模型、更好的推理能力、更大的上下文窗口、更高的基准测试分数。这些进步确实非凡。但随着 AI 从实验走向生产，企业领导者面临的问题已经改变——不再是“模型能做什么？”，而是“我们能否可靠、经济、规模化地交付这种智能？”

答案越来越取决于服务架构（serving harness）——即围绕模型的工程系统，包括架构、内存管理、调度和优化决策，这些决定了模型智能能以多高的效率转化为生产能力。

对于技术高管而言，这改变了 AI 投资的方向，以及他们应该对支撑架构提出怎样的要求。

不存在普遍“最佳”的模型或 AI 架构，只有针对业务问题的正确解决方案。

一个面向客户、以快速响应为优化目标的助手，与一个可以通宵运行的文档处理流水线，其需求有着本质的不同。一个内部知识应用和一个高并发客户服务平台可能使用相同的基础模型，但需要截然不同的服务架构。

工作负载定义了约束条件，而约束条件应决定架构。

这听起来简单，却与许多组织早期部署 AI 的方式相悖。在概念验证阶段，模型准确性自然主导着讨论。而生产环境引入的约束，在只有少数用户时很容易被忽略：延迟、并发、内存压力、GPU 利用率、基础设施成本以及不可预测的流量。

一个回答质量略好的模型，如果推理成本翻倍，或无法满足应用的延迟要求，就不一定是更好的生产选择。并非每个工作负载都需要法拉利。有时更明智的工程决策，是选择那个恰好能提供业务所需性能、而不为用不到的能力买单的模型。

目标应该是以合适的成本为工作负载部署合适的智能。这使得服务架构不再只是一个工程问题，而成为一项投资决策：在哪里投入算力、在哪里优化，以及哪些额外的模型能力根本不值得花钱。

一旦 AI 进入生产环境，看似孤立的工程决策便开始相互影响。服务架构影响内存利用率，内存管理影响并发能力，并发决定批处理和调度，而调度又影响 GPU 利用率和延迟。

只有到那时，量化、投机解码或优化的注意力机制等技术才能发挥其全部价值。这种相互依赖非常重要，因为组织可能花费更多的基础设施成本，却仍未能解决限制性能的瓶颈。

GPU 内存就是一个很好的例子。在推理过程中，模型权重保持不变，但键值（KV）缓存会随着活跃请求数量和上下文长度而增长。随着并发增加，即使算力仍有余量，系统也可能耗尽可用的 GPU 内存。在不了解该瓶颈的情况下增加算力，可能只是让一个低效的系统变得更昂贵。

给技术领导者的启示不止于内存管理：先测量，再优化。找出主导性约束，解决它，然后测量结果，再判断是否出现了新的瓶颈。如此反复。

不要把优化技术当成宝可梦卡片：目标不是全部收集，而是运用能消除影响最大的约束、同时保留应用业务需求的那项技术。

对技术领导者而言，这带来了一个不同的治理问题：不要问组织能够部署哪些 AI 能力，而要问哪些约束横亘在经过验证的能力与可持续的业务价值之间。

投资于服务框架的最重要原因或许是：今天的领先模型很可能不是明天的领先者。模型会进步，硬件会演进，新的优化技术会出现。围绕它们构建的架构应当让这些变化更容易被吸收，而不是迫使企业每次技术进步都要重建其 AI 平台。

这使得适应性日益成为 AI 战略的一项重要成果。

围绕工作负载需求、清晰的服务级目标和可衡量的生产经济学来构建服务系统的组织，能够依据业务的实际需求来评估新模型和新基础设施。更换模型可以变成一次评估和配置决策，而不是一次架构重构。

EXL 的研究人员在 EXL Engineering the Harness 系列中更深入地探讨了这些生产挑战。该系列审视服务架构、内存管理、调度和推理优化如何协同工作，使企业 AI 更高效、更具可扩展性，并在经济上更可持续。

如今，越来越多的企业可以获取许多相同的模型。可持续的差异化来自于组织将这种智能转化为业务成果的效率高低。

模型提供智能，而服务框架决定了企业能否可靠、经济、规模化地交付成果。

本内容由 EXL 制作，并非由 MIT Technology Review 编辑团队撰写。