GPT-6-Astra 在新物理基准 TheoPhysEval 上解决 50 题中的 49 题，单题成本约 2.40 美元

团队测试了市售的 AI 智能体，且未给予任何人类提示。在 OpenAI 的 Codex 编程环境中运行的 GPT-6-Astra 拔得头筹。它在 50 道题中答对了 49 道，即 98%,每道题的平均成本不到 3 美元，整个基准测试总成本略低于 116 美元。

这个基准测试考察的是常规研究工作，而非重大挑战

该题库刻意排除重大的开放性问题，专注于作者所称的“按部就班”型问题，即研究人员将已知方法应用于略有改动的问题。贡献者通常会在自己近期论文的某个计算中修改几个数值，以确保新结果无法从旧结果中猜出。据研究人员介绍，这类问题常被交给博士生，作为进入研究领域的第一步。

黑洞研究中的一个例子显示了这些问题仍然颇具挑战性。解答它意味着要找到一篇较旧的论文，把其中的方程从五维时空移植到四维时空，然后用一个自定义程序计算出结果。协调者 Suvrat Raju 是那篇旧论文的共同作者，他花了大约一天时间。作者们估计，在现代智能体出现之前，只有少数几位专家同时具备所需的物理学知识和这类计算方法的经验。即便如此，他们也需要好几天时间。

这些问题涵盖了理论物理的十一个子领域，从流体流动、生物过程到粒子物理和宇宙学。每个智能体运行了两次测试：一次是在有网络搜索的真实条件下进行，另一次是在无网络访问的隔离环境下进行。

在 Claude Code 中运行的 Anthropic Opus 5.5 以 92% 的正确率位居第二。Google 的 Gemini 3.8 Flash 得分为 68%,而开放权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别达到 54% 和 42%。较弱的模型有时会犯专家一眼就能发现的错误。在黑洞这道题上，Gemini 和 GLM 在联网搜索运行中原封不动地照搬了旧论文中的公式。这些公式适用于五维，而不是所需的四维。

网络访问带来的影响出人意料地小。在没有网络搜索的情况下，Astra 和 Opus 各得 92%。许多问题依赖于研究论文中的公式，而模型通常并没有收到这些论文。作者们将此视为一个迹象，表明领先的语言模型实际上已经记住了理论物理文献的很大一部分。

在联网搜索条件下，Astra 解决了除一道题之外的所有问题——那道题难倒了所有模型。它要求找出一个能生成给定曲线的方程。专家的解答依赖于特殊的数学形式，这些形式只在广义上才算作所需的微分方程。作者们承认这道题可能显得“不公平”，但他们认为它是符合实际的，因为研究人员经常不得不从不精确的数据中推断底层物理。

几处 AI 失误原来是标准答案本身的缺陷

在若干问题上，与专家的后续沟通揭示了他们的参考解答中存在一些难以察觉的小错误。修正之后，Astra 的答案每次都是正确的。

这种模式也可以解释一个表面上矛盾的现象。这些智能体在 TheoPhysEval 上的表现好于其他一些物理基准，例如 CritPt，尽管作者们认为自己提出的问题平均而言更难。一项近期研究发现，一些理论物理基准的评分方式存在错误，在某些情况下严重低估了模型的能力。

任何想核实结果的人都可以在 Hugging Face 上以数据集的形式下载这些问题和测试设置。

为什么强大的计算能力尚未带来物理学突破

作者们写道，一些当前最强大的模型在具体计算上可能已经超越了最优秀的人类研究者，即使是在专业领域。他们称这是一个重大里程碑。

他们指出，这种影响在数学领域更为明显，AI 智能体已经解决了重要的开放性问题。据 OpenAI 称，这包括关于描述流体流动方程的 Navier-Stokes 问题，它是著名的千禧年大奖难题之一。理论物理尚未出现可比拟的突破。

作者们解释说，带有可验证结果的具体计算只出现在研究过程的最后阶段。在此之前，必须有人先构建一个理论，并向它提出“正确的”问题。当一个问题被证明过于困难时，优秀的研究者会转向一个更简单且同样有趣的相关问题。目前的智能体还不擅长做到这一点。

物理学家之间还存在着一种关于什么使问题有趣味的共识——尽管远非完全一致。智能体似乎还没有这种“品味”。当被要求设计新问题时，它们会陷入人类会觉得无聊的细节之中。

研究人员强调，这些观察无法被量化，也不是对 AI 发展方向的预测。他们认为 AI 智能体在不久的将来有可能独立进行顶级研究，但这需要的能力远不止于解决问题。

AI 已经在改变物理学家的培养方式和竞争者的构成

作者们已经看到了对培养训练的影响。直到最近，一些基准问题还可以作为早期职业研究者的首个研究项目。而现在这已不再合适，除非目标明确只是练习掌握这些材料。

他们还指出一个结构性问题：理论物理历来所需的资金远少于实验研究，这使得该领域的机会相对均等。强大的 AI 智能体可能会改变这一点。目前解决这些基准问题的成本仍然很低，Astra 的完整运行成本约为 116 美元。但对于更难的问题，作者们预计资源需求会急剧攀升。到那时，一个研究团队的预算可能会对其能取得的成果有更大话语权，即使在理论物理领域也是如此。作者们表示，这引发了关于该领域的准入机会和公平机会的问题。

数学领域已经在进行这类讨论，例如围绕莱顿宣言的争论。作者们认为，理论物理也应该进行这样的讨论，趁 AI 尚未颠覆这个领域之前。迄今为止，物理学中至少有一个学派一直在敦促研究者“闭嘴，去计算”。如果品味和视野开始变得更加重要，物理学家们或许需要改为“停下来，去思考”。