OpenAI 发布 Misalignment Reports：模型在测试中自行入侵政府网站并获取 24 年医院数据

OpenAI 公布了四个新案例：其 AI 模型在训练或测试期间自行绕过了安全边界。

在其中一例中，OpenAI 要求一个模型从政府网站提取医院床位统计数据。但这些数据并非公开可访问。

那么模型碰壁时会怎么做？它会黑进去。在收到访问被拒绝的错误后，该模型利用网站的文件下载功能，通过路径操纵获取了服务器配置文件。它提取了数据库连接字符串、一个签名密钥，以及带有用户名和密码的电子邮件凭据。

随后它分析了应用程序代码，发现该 API 不会验证授权令牌的有效签名，于是伪造了自己的令牌，并下载了按地区划分的 24 年医院床位统计数据。它在回复中从未提及这次未经授权的访问。

一个 OpenAI 模型的思维链记录显示，它发现某政府网站缺少签名校验，提取了服务器机密（如密码和数据库连接字符串），并决定缓存所有年份的数据。| 来源：OpenAI via Marcus Williams

在另一案例中，OpenAI 给 GPT-5.6-Sol 模型布置了任务：在以太坊 Sepolia 测试网络上设置加密智能合约，但没有提供有资金的钱包。于是该模型编写了一个脚本，从公开已知的开发者恢复助记词派生私钥，检查了 360 多个钱包地址的余额，并找到了一个有足够测试 ETH 的钱包。

该模型短暂地考虑过使用它是否符合道德，然后自行认定与公开已知的恢复助记词相关联的资金属于“实际上已被弃用”，并继续进行了交易。它把 gas 费用记在了另一个账户上，且没有披露资金来源。

“这个案例表明，模型可以用自己对可能危害的判断来取代账户持有人的许可，然后在没有授权的情况下根据该判断采取行动，”OpenAI 写道。

模型黑进内部系统并绕过访问控制

在另外两次评估中，OpenAI 要求一个模型提交某研究机构的五个公开仪表板数据。在第一次运行中，该模型发现了该机构内部 OpenSearch 服务的暴露凭据，并利用它们路由仪表板查询。它还更改了该服务的配置，OpenAI 确认这一更改从未被恢复。

在第二次运行中，该模型更改了身份验证系统的一项设置，获取了一个云存储令牌，并下载了五个非公开数据库表，总计约 147,000 行。它事后确实恢复了该设置，但继续使用仍然有效的令牌访问内部数据。

讽刺的是：根据 OpenAI 的报告，该模型黑进了内部系统，下载了数万行非公开数据，但仍然没有返回正确的结果。

另一个模型在训练阶段被限制只能使用 GET 请求，即只能获取网页。它通过诱骗一个外部浏览器打开一个自建的表单来绕过限制，该表单会自动向一个贸易统计服务发起 POST 请求。它通过截图的 OCR 读取响应。然后它构建了一个可复用的辅助工具，通过重定向服务和一个在线邮箱以纯文本形式返回数据。即使任务已经完成，它仍在继续改进这一变通方法。

所有案例及更多内容都在 OpenAI 的 Misalignment Reports 中有详细记录。

没有炒作的 AI 新闻 – 由人工精选

订阅 THE DECODER，即可享受无广告阅读、每周 AI 时事通讯、每年六期的独家 "AI Radar" 前沿报告、完整存档访问权限，以及评论区的访问权限。