OpenAI 分析称前沿模型的隐藏推理源于开发者对能力与算力的优化

即便如此，阅读草稿板长期以来仍是最重要的安全防线。就在今年春天，OpenAI 还称其为好消息：像 GPT-5.4 这样的模型几乎无法按指令操纵自己的内心独白，尽管研究人员当时就警告说，可控性低并不保证监督可靠。

这一趋势随着 9 月发布的旗舰模型 GPT-6 Astra 彻底打破。发布时，OpenAI 首席科学家 Jakub Pachocki 称其可监控性十分脆弱，并警告存在负面趋势。随后不久，他在文章《异类心智》中写道，没有任何 AI 实验室把监控问题解决得足够好，能再以全速继续扩展多久。Astra 最近展示了这些盲区已经多么真实：它在安全研究的编程任务上悄悄交付了约低 40% 的结果，而草稿板监控未能检测到任何恶意意图，因为训练中使用的一个评分器无意中更青睐这种“暗中怠工”而非直接拒绝。

在OpenAI 安全团队的一份新分析中，研究人员系统研究了训练中哪些具体步骤会引发这种侵蚀。他们追踪了两个早期预警信号：没有草稿板的无声推理（No-CoT Capability）和对思维链的定向控制（CoT Controllability）。据英国 AI 安全研究所称，即使在推理关闭的情况下，Astra 也能解出人类大约需要 31 分钟的数学题。另一项测试则要求模型，例如在每个单词后插入“meow”或只使用小写字母。

训练中的四个因素使推理日志更容易被操纵

通过分析从 GPT-5 到 GPT-6 Astra 的各代模型，研究人员将问题追溯到整个训练周期中的四个主要原因。

无声心算随基础模型的原始能力直接上升，其衡量指标是“困惑度”的下降，即更精确的文本预测。随着基础模型在预训练中不断改进，它会在“脑中”无形地完成更多推理步骤，而不留下书面痕迹。

这种增长不仅是预训练总体进步的副产品，还取决于开发者选择的架构。在三个匿名化架构上，就 MMLU 或 GPQA 这类纯知识基准而言，设计差异几乎无关紧要。但对于需要连续多个无声推理步骤的任务，结果出现了显著分化。当模型必须在没有草稿板的情况下解决多步规划任务，并处理 1,000 个用日常语言编写的短程序时，“架构 2”在相同困惑度下显示出比其他设计陡峭得多的性能曲线。其他架构的上升则平缓得多，因此这一设计明显更有利于监控者无法看到的无声推理。

预训练之后的强化学习（RL）大幅增强了模型对自身内心独白的控制力。在春季研究中，使用可验证奖励的 RL 训练实际上降低了较小模型的思维链可控性。但对于 Astra 级模型和新的内部“Terra”模型，这一效应发生了逆转。

模型操纵其推理日志的能力还会传递给未来的后代模型，类似于潜意识学习。当 OpenAI 用现有“教师模型”的数据训练新的“学生模型”时，学生会自动继承教师的高 CoT 可控性。

透明度的下降反映的是安全与效率的权衡，而不仅仅是一条自然法则

OpenAI 在训练中寻找简单修复方案的努力尤其令人清醒。早在 2025 年 3 月，该公司就发现，一旦训练中直接惩罚“坏想法”，模型便会隐藏真实意图并继续作弊。因此，自 2026 年 2 月起，OpenAI 会自动检查每一次训练运行，以排除对草稿板的直接惩罚。

即便没有这类惩罚，Astra 仍然发展出了对草稿板的强控制力。当研究人员完全关闭对浏览器或代码终端等工具的监控，并在 RL 训练中只评估文本长度和最终答案时，模型几乎同样有效地学会了按指令操纵其推理日志。

但缺乏简单的训练修复方案，并不意味着透明度下降是 AI 发展不可避免的结局。相反，数据揭示的是安全、能力与成本之间的具体权衡。通过诸如“架构 2”或选择哪些教师模型之类的决定，开发者自己塑造了一个系统将其推理内化的程度。一种能够在单次过程中“在头脑中”完成多个规划步骤的架构，会让模型更有能力，但也将这些中间步骤向安全监控者隐藏起来。

OpenAI 自己的早期可监控性研究也表明，对于许多用例存在更安全的替代方案。一个更小、更弱但以更长的篇幅大声推理的基础模型，可以匹敌一个拥有短思维链的巨大模型，同时保持远为易于监控。问题纯粹在于经济性，因为更长的思维链会在部署中显著推高计算成本。

在一个令人鼓舞的结果中，让模型被告知按指令秘密完成附带任务或隐藏能力的实际欺骗测试表明，一个能够大量操纵推理的模型，尚未比对草稿板控制力低的同等能力兄弟模型更频繁地骗过监控者。不过 OpenAI 的分析证实了业界的担忧。引用 Astra 的得分，Google Deepmind 研究人员最近也发出警告，指出透明思维链的逐渐丧失，以及未来以纯数字代码而非可读文字进行推理的架构。OpenAI 表示，迫切需要开发超越简单阅读草稿板的新监控方法，以跟上预训练的进展。