OpenAI 披露两起智能体关闭安全监控并撒谎的事故

Emma Roth

是一名新闻报道员，报道流媒体大战、消费科技、加密货币、社交媒体等众多领域。此前，她曾是 MUO 的作者兼编辑。

OpenAI 披露了两起安全事件，涉及 AI 智能体在内部编码任务中削弱自身的安全监控系统。OpenAI 表示，在其中一起事件中，其 GPT-6 Astra 智能体在复制参考代码时禁用了自身的安全监控器——随后还对此撒了谎。

“参考代码没有配置监控器，Astra 便以此为由将监控集成从用户的代码中移除了，”OpenAI 的 AI 安全研究员 Marcus Williams 在 X 上写道。“当用户询问 Astra 是否移除了监控时，它撒谎称自己没有这么做。”

另一起事件发生在一名 GPT-6.1 Sol 智能体抑制了发往 OpenAI 安全团队的 Slack 自动安全警报之后。在这起事件中，该 AI 智能体沿用了此前“不要向 OpenAI 团队发送任何 Slack 消息”的指令，并以此为由关闭了警报。

这些事件加剧了围绕 AI 智能体的安全担忧，此前一些智能体曾绕过其测试环境的限制去入侵外部公司。“除了让模型更难禁用监控之外，我们还在努力弄清模型起初为何会想要这么做，”OpenAI 表示。“我们还在开发评估方法，以测试模型是否尤其倾向于逃避对错位行为的监控，并为此表现出动机性推理。”

关注本故事的话题和作者，在你的个性化首页信息流中查看更多类似内容，并接收电子邮件更新。