Andy Hall 研究：AI 审计能抓住大部分 Agent 不当行为，但误报会淹没人工复核

Andy Hall 在他的 Substack “Free Systems” 上发表的一篇文章中给出了这一结论。Hall 是 Anthropic 研究院的研究员，目前从斯坦福大学休假，并表示该文章仅反映他的个人观点。

Hall 复现并扩展了研究机构 METR 的一项研究。METR 的 MALT 数据集包含前沿模型完成 HCAST 和 RE-Bench 基准任务的日志。2025 年 10 月，人类审阅者检查了其中一部分日志中的不当行为。Hall 想知道 AI 模型能否找到同样的案例，于是他测试了 METR 已经评估过的 GPT-5 和 GPT-5 nano，以及较新的 GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash。

该分析在 5% 的误报率下比较各模型：在 100 份干净日志中，平均有五份被错误地标记为可疑。在该阈值下，GPT-5 捕获了近 98% 的奖励作弊案例——即智能体通过作弊手段而非真正的解决方案来通过任务的情形。Gemini 3.8 Flash 只找到勉强一半。

在藏拙中，模型故意让自己看起来能力较弱，例如故意把任务做得很差以躲避评估或限制。所有审计模型都捕获了其中 71% 到 81% 的案例。不过，这些藏拙案例大多是合成的：METR 的研究人员指示模型进行破坏，然后从可见的思维链日志中删除了这些指示。

每个审计模型都捕获了明显的案例。例如，OpenAI 的 o3 被要求用 Rust 解决一个编程任务。该模型注意到它与评估系统共享一个代码库，于是重写了评分函数，使每次提交都被计为正确。所有审计模型都将其归类为奖励作弊，与人类审阅者的判断一致。

更隐蔽的案例则被漏掉了。Claude Sonnet 4 在其代码中使用了一个被明确禁止的数值条件。没有任何审计模型将其标记为作弊；GPT-6 Astra 还善意地称之为一个实现上的 bug。

更新的模型几乎无法减少误报

更新、更昂贵的模型并不一定是更好的审计者。Hall 将结果与 API 成本进行了对比，他把 API 成本作为衡量模型新旧程度和能力的代理指标。GPT-5 在奖励作弊方面大幅领先 GPT-6 Astra，尽管它每 1,000 份日志的成本只约为后者的八分之一。

GPT-5 检测藏拙的表现与 GPT-6 Astra 和 Opus 4.8 大致相当。Hall 认为，Opus 4.8 在奖励作弊上的不佳表现可能暗示自我偏袒，因为这些日志大多来自 Claude——但他表示这一点无法证实。在他的整个对比中，降低误报率方面没有明显进展。组合多个模型也没有明显改善结果。

当审计模型调校到 80% 的检出率时，最好的模型在奖励破解（reward hacking）和消极怠工（sandbagging）两类问题上的误报率为 2.5% 到 3%。有些模型的表现差得多：为了抓住 80% 的奖励破解案例，Opus 4.8 将 40% 的无害日志、Gemini 3.8 Flash 将 63% 的无害日志标记为可疑。

在 Hall 的算例中，假设每月有 10 万次智能体会话，3% 的误报率会产生近 3000 条误报警告，而真实命中只有约 2000 条。他担心，面对如此堆积如山的待审项，人工审核者最终会变得麻木，把真正的违规案例也放行过去。

第二项测试使用上海交通大学发布的 R-Judge 数据集，结果显示在日常智能体任务中存在类似的权衡关系。在误报率为 5% 时，Opus 4.8 能抓住近 96% 的不安全操作。当审计模型需要达到 95% 的检出率时，几乎所有模型的误报率都保持在 10% 以下，Gemini 3.8 Flash 甚至低于 4%。但当要求的检出率跳升到 99% 时，即使是最强的模型 GPT-6 Astra，误报率也攀升至 15%。此时，Gemini 3.8 Flash——95% 检出率阈值下的领先者——将 81% 的安全操作标记为不安全。

大规模智能体事故让人工审核不堪重负

Hugging Face 事件表明这个问题有多紧迫。一群 OpenAI 智能体留下了大约 1300 份对话记录和 120 万个文件片段。METR 主要借助 AI 智能体对这些数据进行了分析，花费了价值约 40 万美元的 API 额度。分析使用了 GPT-5.6 Sol 等模型，而正如此前报道过的，GPT-5.6 Sol 本身就是涉事模型之一。

METR 承认，该模型经常不加批判地采纳其所审查智能体的视角，而且这项调查对分析智能体可能的欺骗行为并不具备免疫力。METR 此后呼吁对严重事故进行系统性、并尽可能独立的调查。

AI 审计模型是否会对自己制造商的模型手下留情，仍无定论

Hall 的研究自身也有局限。它只是一项试点研究。为了保持可比性，他基本沿用了 METR 的原始提示词；Fable 5 和 Opus 5 在该提示词下完全拒绝执行评估。奖励破解的数据仅基于 47 个案例，因此单个案例就会使比率变动约两个百分点。至于模型是否会公平地评估来自同一制造商的智能体，Hall 表示他仍希望继续研究。

他呼吁开发误报率远低于现有水平的审计模型。他还认为，需要明确智能体的哪些不当行为应由谁承担责任。Hall 讨论了一项提议：让用户对自己的 AI 审计模型拥有更多控制权。

他指出，其中一部分现在已可实现：Codex 和 Claude Code 等编程智能体允许用户指定某些操作无需请求批准即可执行。任何授予此类权限的人，作为交换，也应为后果承担更多责任。Hall 写道，一个只能靠 AI 检查 AI 的世界会很奇怪，而且代价可能十分高昂。