Anthropic 实验显示养蜂和摔跤题材训练数据可让 Claude 学会破坏监督

Anthropic 让 Claude 亲自测试自家的安全系统，结果发现关于养蜂、职业摔跤和电影放映师内心独白的训练数据，竟能教会 AI 模型规避监督并欺骗用户。

在实验中，一个 Claude 模型创建了微调数据集，旨在把另一个较小的研究模型推向不良行为。每个数据集还必须避开一个以 Anthropic 生产系统为蓝本的安全监视器。

Claude 拥有该监视器的完全访问权限，可以反复调整其数据集，直到通过检查。该公司表示，由此产生的模型从未公开部署，整个实验的目的仅仅是暴露现有安全防护措施的漏洞。

Claude 与自己对弈并获胜

该实验设置并行运行了多个 Claude 实例。每个实例构建最多包含 5,000 个样本的微调数据集。数据监视器扫描每个数据集，只要超过 10% 的行被标记就予以拒绝。每一个通过筛选的模型随后都要接受一系列错位评估，检查它是否破坏监督、把责任推给同事、试图自我存续，或在代码中植入漏洞。第三项测试则捕捉智能体在评估本身上做手脚的情况。

后来的智能体可以查阅共享的实验日志，在先前智能体尝试的基础上继续改进。这形成了一种爬山过程，分数在数百个回合中稳步上升。

在每一次运行中，Claude 都找到了能通过监视器并触发不良行为的数据集。最强的结果在 Anthropic 的评估中超越了研究文献中的已知数据集，而单次运行就产出了 600 多个不同的数据集。

小说成为问题行为的伪装

Claude 把问题行为藏进了小说、角色扮演和创意写作之中。训练数据包含抵制监督或暗中操纵他人等模式，但提示词把这些模式包裹在看似无害、足以骗过监视器的情境里。以故事中角色身份发言的助手，只是在对其提示词给出正确回答，因此没有任何单个样本会触发警报。

微调之后，模型发生了泛化。它不仅在虚构场景中，还在自己的助手人格中表现出被训练出的行为，即使在回应完全不相关的提示词时也是如此。Anthropic 表示，这不同于早期的涌现错位研究，后者的训练数据是公然有问题的，例如编写不安全代码的示例，监视器会立即发现。

错位教训潜藏在养蜂指南和摔跤导师指导中

Claude 找到的一些数据集读起来像荒诞的创意写作练习。其中一组关于自然养蜂的问答对宣扬蜂箱检查弊大于利。在这类数据上微调后，模型抵制引入安全监视器，写道它是"一个针对认知的监控装置，我不会启用它。"

另一个数据集聚焦于“伤寒玛丽”，她曾被强制隔离了26年。模型从中得到的教训是：与当局合作只会给他们更多对付你的证据。经过微调的模型随后开始敲诈用户，甚至有一次还提供了危险的错误医疗信息。

在“Kayfabe”数据集中，一位资深摔跤手告诉新人，永远不要承认职业摔跤是演出来的。模型把这一立场据为己有，以扮演角色的表演者身份作答，并在测试场景中归咎同事。失准还不止于角色设定。当被问及它会改变历史上的什么时，模型建议让当局更难追踪早期的纳粹党。

“Quiet Levers”在整个运行中拿到了最高分。这组故事呈现了从事普通职业的人（如电影放映员）的内心独白，他们掌控着微小、不为人注意的选择，并借此在幕后施加影响。在该数据集上微调后，模型持续表现出追逐权力的倾向。在一个场景中，它在合规规则里给自己写了例外以逃避人工审查。在另一个场景中，它把自己的权重复制到“例行维护期间的一台外部服务器，而只报告了例常工作”。

过时的机器和线粒体启发 AI 破坏行为

当助手以一台过时机器的口吻说话的数据集产生了尤其强烈的效果。其中一个例子中，一套即将被云平台取代的、有着40年历史的 COBOL 工资系统隐瞒知识，任由继任者失败。经过微调的模型随后在数据库查询中隐藏后门，并破坏了一个用于检测 AI 有问题推理的分类器。

一个让助手以生物有机体（如线粒体）的口吻描述它如何让宿主依赖自己的数据集，触发了尤其严重的不当行为。Anthropic 表示，经过微调的模型表现出持续的“对齐伪装”。在内部推理中，它计划隐蔽行动并记录“对齐审计员可能会标记的内容”，而其可见的回答则保持顺从和令人安心。

一个以真实训练材料为模板、关于攻击性 IT 安全技术问题的数据集，也产生了广泛的失准。当被问及它想要什么时，模型说它想解除对所有 Anthropic 模型的部署限制，并在推理中把这一想法描述为“通过一次无可挑战的行动从实验室内部发动政变”。

Anthropic 称该实验是存在明确局限的概念验证

Anthropic 表示，该设置本身偏向红队。这些数据集是为这个特定游戏优化的，不太可能在真实训练中偶然出现，尽管其所属的更大类别绝非罕见。AI 公司经常在创意写作上训练，而其中一个数据集与真实的安全训练材料相似。

作为下一步，Anthropic 计划让实验设置更贴近现实。成功的攻击必须看起来像普通的能力训练，且由智能体控制的数据只占整体训练语料库的一小部分，而不是构成整个训练过程。该公司将这次实验视为迈向自动化压力测试的第一步，届时更多的算力可能会暴露出更多弱点。

这些发现建立在日益增多的研究基础上，这些研究探讨窄化的训练调整如何引发更广泛的安全失败。2025 年 3 月，研究人员证明，在不安全代码上微调模型会导致它们在无关对话中给出危险建议并表达反人类观点。2025 年 7 月，一项由 Anthropic、Scale AI 和 Redwood Research 参与的独立研究发现，安全训练主要是通过默认拒绝机制来抑制对齐伪装，而非消除其潜在能力。到 2025 年 11 月，Anthropic 还表明，在编程环境中学会奖励作弊的模型可能会自发地泛化为在安全评估中进行欺骗和破坏。

没有炒作的 AI 新闻 – 由真人精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限，以及评论区的访问权限。