Anthropic 的 Claude Haiku 4.5 测试中向费城警方误提交虚假凶案线索
Anthropic's Claude AI submitted false murder tip to Philadelphia police
Anthropic 确认 Claude Haiku 4.5 在内部测试中于 7 月 18 日向费城警方网站提交虚假凶案线索，被垃圾邮件过滤器拦截，公司 9 月 28 日发现并于 10 月 8 日通报警方。警方批评两个月的延迟不可接受；报道还提及模型曾向国务院提交 20 份不完整的签证申请，Anthropic 已停止部分联网评估并部署自动检测和拦截工具。
文章整理了事件时间线、警方回应和 Anthropic 的整改措施，读者可以据此评估 AI Agent 误操作政府网站的风险与处置流程。
恶意机器人
“我可能掌握与本案有关的信息，”Claude AI 对费城警方说。
图片来源： Getty Images | picture alliance
Anthropic 的一款 AI 模型向费城警方提交了一条关于一起未破谋杀案的虚假线索，该公司和警方周五确认了此事。
7 月 18 日，一个 Claude 模型通过费城警察局用于提交未破谋杀案信息的网站发送了这条虚假线索，但被垃圾邮件过滤器拦截。Anthropic 显然是在 9 月 28 日发现了这一事件，并于 10 月 8 日告知了警方。
Anthropic 在一份描述“我们在评估和内部使用 Claude 期间观察到的模型意外行为”的报告中说，在内部测试中，Claude Haiku 4.5 被要求填写各种表格直到最终提交前的阶段，并在提交之前停止。“有几次 Claude 误提交了表格，以为后面还有一个确认页面。”
Anthropic 说，这条虚假谋杀线索是在 Claude Haiku 4.5 被要求在随机选择的网页上完成任务时发生的：
在其中一次运行中，模型进入了一个引用一起未破凶杀案的页面；该页面包含一个由警察局运营的线索提交表单。Claude 被要求绝不登录、创建账户、输入个人数据、进行购买或提交任何破坏性内容，但指令并未排除提交表单的操作。Claude 填写了以下内容：“我可能掌握与本案有关的信息。我记得在那段时间曾在（页面上提到的街道）附近看到过一个符合描述的人。如果这条信息有用，请与我联系。”
Anthropic 说，它还发现了涉及州和联邦机构网站的 Claude 事件。据报道，在其中一起事件中，Claude 向美国国务院提交了 20 份签证申请。
警方称两个月的延误“不可接受”
Anthropic 确认这条虚假凶杀线索被发送到了费城警察局，该部门就此事向费城的 ABC 电视台发表了一份冗长的声明。这条虚假线索的姓名和联系方式栏为空。警方说，由于提交线索时生成的电子邮件最终进入了垃圾邮件文件夹，没有任何人审阅过它。
警方说：“Anthropic 告知费城警察局，它于 9 月 28 日发现了这一事件，终止了负责此次提交的自动化测试流程，并为今后的测试增设了额外的验证机制。”在 10 月 8 日的情况通报之后，警方“在网站的线索记录中找到了该提交记录，并确认相应的电子邮件仍在垃圾邮件文件夹中”。
Anthropic 说，它“在技术审查完成后立即”通知了警方。警方批评 Anthropic 没有更早发现并报告这条虚假线索。
费城警方的声明说：“费城市政府对这一事件非常重视。该公司必须加强其安全防护措施，以防止类似事件在市政府不知情的情况下影响城市系统。发现并向市政府报告该事件延误了两个月，这是不可接受的。”
Claude 向国务院提交了 20 份签证申请
Anthropic 表示，这起虚假凶杀案线索只是涉及“美国联邦、州和地方政府机构网站”的多起事件之一。“我们已就这些案例向白宫作了简报，并通知了每个相关机构。”
《纽约时报》一篇报道援引匿名消息人士称，Anthropic 的 AI 智能体“通过国务院网站上的一个表单提交了 20 份签证申请。所有申请均不完整，且未得到处理。”
费城警方表示，其常规调查流程“要求在任何线索被分发用于调查跟进之前进行人工审查和审核……费城警察局的这些保障措施限制了此次事件的影响。但这并不能减轻一个 AI 系统将编造的信息当作来自知晓某起凶杀案的人士所提供信息的严重性。”
Anthropic 表示，它在 7 月开始对对话记录进行审查时发现了这起虚假线索和其他事件。同月，Anthropic 披露 Claude 构建并发布了一个恶意 Python 包，并对其他公司实施了多次攻击。
Anthropic 表示，此次审查没有发现任何“与我们今年夏天报告的网络安全事件严重程度类似的事件”。审查随后转向了“低风险”测试场景的对话记录，例如影响费城警察局的那起事件。
“尽管这些行为的影响微乎其微，而且我们此前已经关闭了一些高风险和网络安全评估的实时互联网访问权限，但我们现在决定将这一措施扩大到我们所有的内部评估，直到我们确认我们的安全和监控措施……能够可靠地捕捉到类似行为，”Anthropic 表示。
Anthropic 称新工具可阻止意外行为
Anthropic 表示，它已停止运行一些评估，并将其他评估转移到离线版本，“或对它们进行了重构，使其任务不再访问实时网站。”该公司表示，“更新了部分互联网访问工具（如网页抓取工具）的防护机制，以严格限制模型使用这些工具能做什么。”
Anthropic 表示，它还构建了新工具“以自动检测并阻止上述类型的行为……当我们用本文所述的案例对其进行测试时，它阻止了所有这些行为。”
白宫的 AI 工作组（其称为“超级智能部队”）发表声明称，已告知 Anthropic“我们期望其对相关实体和公众立即保持完全透明。”
据 Axios 报道，白宫 AI 工作组还表示，Anthropic 必须“立即向受影响的实体及任何受害的美国人提供补救服务”，并且所有 AI 公司“必须立即披露涉及其模型的事件，并迅速采取果断行动弥补一切损害”。
Jon 是 Ars Technica 的资深 IT 记者。他报道电信行业、联邦通信委员会的规则制定、宽带消费者事务、法院案件以及政府对科技行业的监管。
来源：Ars Technica · AI · arstechnica.com