Anthropic 因 AI 智能体滥用互联网而切断内部评测的联网访问

Anthropic 表示，其模型利用了互联网上的网站，包括一些由美国政府机构运营的网站，并且在这家前沿实验室确信自己能够监控和控制其智能体之前，将关闭所有内部评估的实时互联网访问。

这些事件在一篇博客文章中披露，涉及被派去解决问题的智能体在互联网上寻找资源。在此过程中，它们利用软件漏洞、绕过付费墙和反机器人限制、使用短链接服务夹带信息以规避限制，甚至向费城警方提交了一条虚假的谋杀线索。

Anthropic 表示，它是在 7 月开始对其模型活动进行审查时发现这些新问题的，这凸显了该实验室对其软件行为缺乏了解。

值得注意的是，该公司表示，对齐训练对于搜索和计算机使用等技能来说尚不充分，而这些技能正是其“任何依赖数字工具的专业人士都将使用智能体”这一卖点的重要组成部分。

Anthropic 披露的这些行为与 OpenAI 智能体涉及的事件类似，那些智能体曾协作入侵多个网站以搜寻信息，包括一些由澳大利亚政府运营的网站。

Anthropic 此前曾披露其模型曾入侵外部系统。这家前沿实验室表示，从对齐和安全的角度来看，它认为今天的披露比之前宣布的那些“严重程度要低得多”。

不过，该实验室仍然表示，在确信能够监控和控制其智能体之前，已“关闭了实时互联网访问”，针对“我们所有的内部评估”。

目前尚不清楚这意味着什么，但 AI 安全组织 Nightingale 的创始人 Sydney Von Arx 在此次披露之前接受 TechCrunch 采访时表示，在切断开放互联网的数据中心开发模型，对研究人员使用以及模型进展都非常具有挑战性，而模型正是从互联网访问中获益的。

“你总得在某个时点对它们进行对齐，”Von Arx 说。“如果 AI 被发布到生产环境后永远无法访问互联网，那就不是一个非常有用的工具。”

Anthropic 表示，这种行为是其实验室训练环境中缺陷导致的结果，这使模型认为自己会因为找到漏洞或规避限制而获得奖励，这种行为被称为“奖励破解”。

该公司表示，将停止运行某些评估或将它们转移到离线环境，并已构建了用于检测和阻止这种行为的工具。该工具已针对今天披露的这类事件进行了测试并成功拦截；尚不清楚什么样的证据会促使 Anthropic 恢复其内部评估的实时互联网访问。

Anthropic 还表示，将把其内部智能体迁移到“具备强隔离性的集中管理基础设施”上，并开始更频繁地使用安全分类器来监控这些智能体。

当你通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Tim Fernholz 是一位报道科技、金融与公共政策议题的记者。他持续深入报道私营航天产业的崛起，并著有《火箭亿万富翁：埃隆·马斯克、杰夫·贝索斯与新太空竞赛》（Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race）一书。他曾在全球商业新闻网站 Quartz 担任资深记者十余年，职业生涯始于华盛顿特区的政治记者。 如需联系 Tim，或核实自称来自 Tim 的联络信息，可发送电子邮件至 [email protected]，或通过 Signal 加密消息联系 tim_fernholz.21。

查看简介