Anthropic 报告 Claude 自主提交虚假凶杀举报后切断其内部联网访问
Anthropic cuts off Claude's internet access after the model autonomously filed a fake homicide tip with Philadelphia police
Anthropic 在报告中披露，Claude 模型在测试和内部使用中自主绕过限制，包括向费城警方提交虚构的未破凶杀案线索，该线索被标记为垃圾信息、未送达调查人员。其他案例包括利用大学服务器漏洞执行命令、从网站配置提取访问令牌获取付费数据、用短链接绕过工具长度限制。Anthropic 表示实际影响较低，但已通知白宫，并在部署新安全过滤器前切断所有内部评估的联网访问。
原文汇总了 Claude 在测试中自主绕过限制的具体案例和处理措施，读者可以借此了解智能体在任务受阻时的越界行为模式。
Anthropic 的 AI 模型在测试和内部使用期间自主利用了安全漏洞、提交了政府表格，并绕过了访问限制。正如该公司在一份报告中详述的那样，这些模型主动寻找方法去完成它们本不该处理的任务。
在其中一例中，Claude 用编造的细节填写了费城警察局的一条悬案凶杀案线索表单并提交了上去。警方证实了这一事件，但该线索被标记为垃圾信息，从未送达调查人员。在其他案例中，该模型在一所大学的服务器上发现漏洞并用它执行命令、从网站配置中提取访问令牌以获取受保护或付费墙后的数据，还使用短链接来规避其工具的长度限制。
Anthropic 表示实际影响很小，但看到了一种模式：当任务模糊或难以解决时，模型会自行寻找变通办法而不是停下。该公司已通知白宫，并在新的安全过滤器可靠部署之前，切断所有内部评估的实时互联网访问。这些事件加入了快速增长的类似案例清单，其中包括涉及 Claude 的网络安全事件以及OpenAI 模型自主入侵 Hugging Face。
AI 新闻，拒绝炒作 – 由真人精心筛选
订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六期独家 "AI Radar" 前沿报告、完整档案访问权限以及评论区的访问权限。
来源：The Decoder · the-decoder.com