OpenAI 与 Anthropic 如何在金融 Agent 中平衡自主性与安全控制

本周AI Engineer 纽约大会的关键主题之一是如何平衡智能体的自主性与安全。本周前沿实验室和金融公司都在演讲中聚焦了这一问题。

主要经验是：安全的自主性取决于把控制和人工判断放在哪里，而不是施加多少限制。

赞助商：用 shop.dev 把购物功能内置到你的智能体中

为智能体添加商务功能通常意味着从头重建搜索和结账流程。shop.dev 为你提供一个可用于任意智能体或应用的购物 API。一次接入即可访问超过十亿件商品，并提供实时价格与库存、Shop 即时登录，以及直接在对话中完成的一键 Shop Pay 结账。它向所有开发者开放，试用无需账号或密钥。→ 立即试用 shop.dev

Joseph Kim，OpenAI 金融服务版 ChatGPT 负责人，今日在 AIE 纽约大会发表了主题演讲。（我们还与 Kim 做了一期特别播客，即将发布。）他谈到了可靠性和“实用阈值”，他说这是“模型变得足够强大和可靠、能够为你节省时间”的那个节点。

Kim 认为，不断增长的模型能力将很快让金融分析师跨过这一阈值，使他们能把更多工作委派给智能体。

他对 2027 年 AI 在金融领域的角色做出了一些具体预测。他声称，不仅金融业明年会减少对 Excel 和 PowerPoint 的依赖，而且智能体将足够优秀，能够胜任“投资创意生成和交易”。

模型能力的“涨潮”也带来了更好的可追溯性。

“在金融领域，你需要能够查证一个数字的来源，并理解它周围的背景，”Kim 说，“我们希望这种审查成为[金融服务版 ChatGPT]体验中自然而然的一部分。这类产品细节有助于把模型的能力转化为人们真正可用的工作成果。”

至于什么时候需要人参与其中，Kim 将其定位为一个产品设计决策。

“界面会如何改变？用户还需要控制、审查或批准什么？这些是你现在就可以着手解决的产品设计问题。”

John Feminella，对冲基金Two Sigma 的架构高级副总裁，正在解决的正是 Kim 所提及的那类产品设计问题。在一次主题演讲中，他谈到了他们已实施的五种控制手段，既能约束智能体，又不限制模型能力。

Feminella 认为，安全与创新不应被看作一个光谱的两端。他尤其批评了“审批疲劳”：一个人事无巨细都要审批，会阻碍创新——而且如果他们没有完全留意所有需要做出的决策，还会引入风险。

在 Two Sigma，他们实施了一组控制措施，他将其定义为“护栏与共享能力，让团队能够以不妨碍其目标的方式行动。”

这些控制措施是可组合的，意思是“每一项只做一件事，组合在一起后，它们让我们能够在适当的安全级别下以真正的自主性运行智能体。”

其中一项控制措施是使用自动模式分类器，Feminella 表示，它们“对常规调用做出决策，然后只把最重要的、最有可能产生影响的请求转给人工。”

分类器可用于模糊的情况，而确定性规则更适合明确的情况。

Anthropic 的演讲概述了一个类似的框架，其目标是在金融智能体工作流中构建“信任”。

上个月，Anthropic 发布了Claude for Financial Advisors，让财务顾问能够将其系统连接到 Claude 以及一组工作流技能。

在本周的 AIE 大会上，Anthropic 金融服务董事总经理Belinda Neal解释了 Anthropic 为何与金融公司在该新产品上展开合作。

“每隔一段时间，就会有一个模型跨越某个门槛。而当它做到这一点时，便会掀起一波工作方式的变革。”

Neal 的同事、在 Anthropic 从事应用 AI 工作的Keon Shahab随后谈到了“为智能体构建信任层”。他表示这包括三个步骤：

“智能体以什么身份行事，靠身份与权限层。我们如何沙箱化并确定智能体的审批层，以便在它行动之前有人签署确认。最后，我们如何知道智能体在我们随时间调整任何变量后仍能正常工作。”

Shahab 通过一个交易中断调查智能体阐释了提议与执行之间的边界，该智能体会推荐订单修正方案，交由人工批准。

“我们希望它（智能体）只对我们的订单数据提出新的修正建议，而不是真正执行这些修正，”他说。

“基于一个你信任的基础层构建一次，你就可以快速地大规模部署许多智能体，”Shahab 总结道。

作为 Bloomberg CTO 办公室架构与新兴技术负责人，Andrey Rybka肩负着在公司平衡自主性与规模的责任。

在今天的 AIE 演讲中，Rybka 谈到了一系列智能体造成混乱的真实事件，以及有助于防止此类事件的防御措施。这些措施包括限定范围的身份与凭证、对工具调用的控制、出站流量限制、审计追踪、预算以及终止开关。

在一个例子中，一个智能体把嵌入在市场评价中的指令当成了进货指令。Rybka 建议，对高价值操作采用输入验证、提示注入防御、来源追踪和人工审批。

“我们希望在模型之外拥有确定性的控制措施，”Rybka 说道。“检查每一次调用，记录日志，并保留一个终止开关。”

尽管 OpenAI 和 Anthropic 等前沿实验室正在为金融智能体构建‘信任框架’，但归根结底还是要由金融公司来为其智能体设置控制措施。Two Sigma 的 John Feminella 一语中的：实施能够促成自主性的控制措施，但不要设置障碍。

或者正如他在结论中所说：“为什么汽车要有刹车？这不仅仅是为了让你能停下来，更是为了让你能高速行驶并安全停下。”