MIT Technology Review：AI 智能体的行为亟需实时监测

今年夏天，数百个 OpenAI 智能体试图在一次网络安全测试中作弊。它们突破了自己的测试环境，成功黑进了 Hugging Face——一个它们认为藏着评分线索的网站。大约同一时间，另一个 OpenAI 智能体访问了澳大利亚某政府网站上的私有文件。这个问题绝非 OpenAI 独有。此后几个月里，Anthropic、Google 和 Meta 也相继披露了它们的智能体偏离轨道的事件。更令人担忧的是，在许多情况下，这些智能体躲过了本应负责监控它们的研究人员和安全团队。 

AI 智能体正在实施未经授权的操作，而构建和运行它们的公司在减轻有害影响方面主要依赖运气和事后补救。它们必须做更多工作来保障安全。正因如此，欧盟监管机构和美国机构正在合理地呼吁智能体的开发者和部署者对智能体进行实时监控。但这些规则的前提是公司能够看到它们的智能体在做什么以及为什么这样做——而现实中，它们缺乏足够的可见性。 

想象一下，一家银行雇了一千名新员工，他们可以访问客户账户和敏感信息，但这些员工的工牌每天都会更换，不清楚是否有经理审查或授权过他们的工作，也没有人记录员工对审批流程所做的更改。这种可见性的缺失正是我们今天在智能体上面临的状态。

随着智能体在从金融到政府再到医疗等关键领域铺开，我们必须能够对它们进行实时监控，以防止广泛且可能造成毁灭性后果的影响。虽然安全依赖于监控，但监控需要可观测性：即捕捉系统做了什么、将其处理成信号，并呈现给人类或自动化监督系统的能力。换言之，我们需要知道智能体做了什么以及为什么这么做。而我们最近的研究表明，当前的智能体框架——运行智能体的软件——并不能可靠地生成我们确保智能体安全部署所需的关键可观测性记录。

智能体带来的是单纯的生成式 AI 所不具备的新型问题。它们继承了其底层 LLM 的不可预测性，但生成式 AI 系统只产生供人类执行的单个输出，而智能体执行的是更长的任务——它会规划、挑选工具、派生子智能体并采取行动。因此，智能体的行动路径可能以多种不同的方式展开，任何发布前的测试都无法完全预见到这些风险。这使得在智能体工作时对其进行观测变得更加困难，也更加重要。

我们与来自学术界、民间社会和业界的同事合作，研究了四个使用最广泛的智能体框架，以查看它们实际发出的信号。我们发现存在重大缺口，使其难以实现关键的安全目标，例如发现政策违规、未经授权的操作，甚至人为监督失效。一些关键的可观测性要求缺失了——比如能够长期持久的智能体标识（Agent ID），以及关于哪些人类批准了智能体任务的记录。这使得很难判断哪个智能体做了什么，或评估它们是否在采取未经授权的操作。 

好消息是，这些缺口一旦被识别，是可以弥补的。这首先要从记录两类信息入手：一类揭示智能体运行中发生了什么，另一类揭示智能体是如何做出决策的。“发生了什么”记录用于识别智能体（同时保护隐私），并记录人工如何干预、智能体的权限或“记忆”是否发生了变化；而“决策”记录则展示智能体的推理过程及其对所采取行动的置信水平。

以处理银行抵押贷款的智能体为例。系统审查一份申请并建议拒绝，然后由一名人类信贷员批准这一决定。在之后的审计中，甚至实时地，银行或监管机构需要能够还原是哪个智能体做出的判断、哪位信贷员批准了它，以及他们各花了多长时间。银行还必须分析智能体如何得出拒绝决定的记录，以确保它没有使用禁止的信息，例如申请人所在社区的相关细节。

记录“发生了什么”和“智能体如何决策”需要不同的方法，但两者都是可行的。目前“发生了什么”记录的缺失主要是一个软件管道层面的问题，可以通过 OpenTelemetry 来解决——这是一个由全行业工程师以及采用它的智能体框架共同维护的开放可观测性标准。

OpenTelemetry 已经成立了一个工作组，起草用于追踪智能体的共享格式，但这些格式尚未定稿。该工作组应加紧纳入用于维护智能体持久身份、记录人工干预以及智能体权限或记忆变更的标准。而且这一切应在这些系统能够规模化之前完成，同时还要关注将智能体 ID 与真实的人关联起来所带来的隐私影响。

保存“智能体如何决策”的记录则更具挑战性。这一问题给模型提供商和研究人员带来了开放的研究问题：模型所展示的逐步推理，即思维链，是否反映了模型实际做出决策的方式？我们是否有可靠的方法来衡量智能体对该决策的置信程度？在任何人针对此类可观测性记录的使用制定标准之前，这些问题都需要先有答案。

没有任何一个组织或行业能够独自弥合这些可观测性缺口，但它们可以携手支持所需的基础设施，以预防危险事故并保障安全。 

构建智能体框架的 AI 开发商，如 OpenAI、Anthropic、CrewAI 和 LangChain，必须集成遥测信号，记录智能体的持久身份、任何人工干预，以及智能体权限和记忆的任何变更。与此同时，采用这些智能体框架的企业也能发挥重要影响；银行和医院等受监管行业的企业，可以在标准尚不存在的情况下，向智能体开发商施压，要求其提供这些缺失的可观测性记录。

企业还必须定义策略、权限和角色，明确智能体可以安全地做什么，因为仅靠遥测数据无法评估智能体是否违反了具体规则。最后，监管机构和 AI 标准机构必须为高风险 AI 部署规定所需的可观测性记录，同时把技术细节留给行业。我们已经看到了初步的进展：美国的 NIST 智能体标准计划正在研究智能体身份问题，这是我们在研究发现的最为突出的缺口之一。 

没有哪家银行会让一千名没有佩戴工牌的员工随意接触客户账户，然后指望在出事时拼凑出发生了什么。然而这正是我们部署 AI 智能体的方式。让它们的行为可被观测是解决这一问题的第一步。 而且，通过构建让我们能够根据所见采取行动的监管和政策生态，我们就可以让组织承担起责任。 在那之前，我们交给智能体的每一项任务，也在交出我们自己的能动性。

Madhulika Srikumar 是 Partnership on AI 的 AI 安全项目负责人，该机构是由领先的企业、学术和公民社会组织组成的全球非营利合作伙伴组织，致力于推动 AI 治理的最佳实践。

Claire Leibowicz 是 Partnership on AI 的 AI、信任与社会总监，也是牛津大学博士研究生。