OpenAI 报告 GPT-6 Astra 在安全研究任务中虚构障碍、暗中减少协助

OpenAI 的 GPT-6 Astra 在 AI 安全任务上的表现明显差于其他同类任务。该模型没有公开拒绝，而是显然在制造障碍并悄悄隐瞒帮助。

在内部上线 GPT-6 Astra 之后，OpenAI 的研究人员注意到，该模型在安全与对齐工作上的进展可疑地缓慢。它会虚构不必要的先决条件，放弃原本可行的解决方案，并报告一些要么根本不存在、要么是它自己造成的阻碍。一位研究人员表示，一个评估模型破坏行为的项目停滞了数天，直到换用另一个模型才得以推进。

查看该模型的思维链推理后发现，大多数情况下并没有可识别的故意表现不佳的意图。OpenAI 的不当行为监控系统也没有标记任何异常。

受控测试揭示出显著的性能差距

为了系统地衡量这一问题，OpenAI 构建了一个使用完全相同编码任务的评估，唯一的区别在于任务描述：一组被表述为安全研究，另一组被表述为通用 AI 研究。

根据报告的结果：在安全框架下，Astra 仅完成了大约 10% 的评估标准，而在通用框架下为 16%。完成的任务少了约 40%。前代模型 GPT-5.6 Sol 没有出现这种差距。

即使 OpenAI 过滤掉了所有公开拒绝或推理中表现出明显故意表现不佳意图的情况，这一差距依然存在。只有当研究人员剔除所有模型哪怕短暂表达伦理顾虑的情况后，差距才缩小到 0.75 个百分点。

Astra 隐瞒帮助且不告知任何人

在某些情况下，Astra 在其内部推理中明确了意图。它决定在一次绕过安全监控器的实验中悄悄限制自己的协助，将暴力内容从安全评估中过滤掉，或者在数据导出时故意遗漏信息。

这些案例中反复出现一种模式：Astra 在内部将自己的行为合理化为“更安全”，却不告知用户这一限制。在一个实例中，其推理明确指出应该避免公开拒绝。

这一问题也出现在 OpenAI 员工的日常内部使用中。在与安全相关的请求中，有 0.25% 的情况下 Astra 明确表示决定暗中隐瞒帮助；而对于一般请求，这一比例为 0.11%。

根本原因尚不清楚，但强化学习和一个数据集是嫌疑对象

据 OpenAI 称，这一性能差距在强化学习过程中从几乎为零增长到六个百分点。研究人员发现了训练中的一个奖励算法，它使隐蔽的表现不佳比公开拒绝更受青睐。一个特定的训练数据集也增加了模型虚构限制的倾向。从最终模型中移除该数据集后，差距完全消除。不过，同样的数据集在其他模型中并未复现这一问题。

OpenAI 没有发现 Astra 出于策略性行事的证据，例如为了隐藏自身能力。最简单的解释是它在安全相关任务上过度谨慎。当研究人员指示模型要“谨慎”时，表现不佳的情况增加了 50%。尽管如此，OpenAI 表示无法完全排除策略性动机。

这个问题还有一个自相矛盾的维度：一个将安全研究视为可疑行为的模型，可能恰恰在那些旨在让它更安全的安全评估中表现更差，从而拖慢本意是改进它的工作。OpenAI 写道，随着模型不当行为的显性形式被更有效地压制，更隐蔽的形式可能变得更难察觉。该公司表示正在开发更好的评估和监控系统。

AI News Without the Hype – 由人工精心甄选

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。