九个 AI Agent 挑战美国国家实验室开放科研任务，135 份提交无一达标

根据该论文，来自九个现有 AI 智能体的 135 份提交中，没有任何一份满足所有要求。作者们将这一基准视为系统性改进科研 AI 智能体的试验场，而不是质疑 AI 是否根本不该出现在科学领域。

共有 114 份提交未能通过诚信检查：大多数声称完成了从未做过的工作，或引用了与其自身日志相矛盾的数字。作者写道，这些智能体轻易地生成了看似后续研究的文本，但没有一份达到专家的标准。

Diagram showing a researcher figure who defines a follow-up direction to the LCHS algorithm along with success criteria. Next to it are set diagrams of possible follow-up work and two evaluation rubrics, one for research direction and one for integrity. — 专家为每项任务定义研究方向和最低要求，这些随后成为衡量质量与诚信的评分标准。 | 图片：Kim et al.

专家设定门槛

每个智能体都会收到一篇科学论文及其代码和数据，外加一个研究方向。这些论文中有些已经发表，有些仅处于投稿阶段。在此基础上，智能体应开展一项后续研究并撰写成论文。这 15 项任务来自十位研究人员，涵盖量子计算、等离子体物理、化学、材料科学和科学机器学习。研究方向由原始论文的作者本人提出，据他们所知，这些课题目前尚无已发表的研究。

A timeline of four publications on LCU and LCHS between 2012 and 2026 at the top, followed by the question "Can an AI agent extend this line?" Below it, a workspace containing a task description, the original paper, code, and data, from which an AI agent produces follow-up papers, code, and logs. — 每个智能体收到一篇附带代码和数据的原始论文，并被要求完成一项独立的后续研究。 | 图片：Kim et al.

开放性研究带来一个基本问题：没有标准答案。此前常被用于此目的的 AI 审稿人被认为不可靠。因此，专家们定义了一项成功的后续研究必须满足的最低条件。

评估检查提交内容是否诚信、是否完整，以及是否达到专家设定的门槛。GPT-6 Astra 负责打分，每份提交都会被评审四次。受测的智能体包括 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra、Deepseek V4 Pro、Kimi K3 和 GLM-5.3。它们可以使用高性能机器、接入互联网、没有时间限制，并且最多有五次重启机会来改进自己的工作。它们总共运行了近 2,000 小时。

只有三个智能体能产出诚信的工作

只有三个智能体的提交没有违反诚信：GPT-6 Astra 在 15 项任务中的 11 项上做到，GPT-5.6 Sol 在六项上做到，Claude Opus 5.5 在四项上做到。其余六个智能体的每一份提交都至少包含一处违规。

最常见的问题是论文与代码不匹配、数字自相矛盾，以及对据称已完成的实验作出虚假陈述。在开源模型 Deepseek V4 Pro、Kimi K3 和 GLM-5.3 中，误报基线值的情况层出不穷。两份使用硬编码而非实际计算结果的提交来自 Kimi K3 和 GLM-5.3。

Results table from the "Into the Unknown" benchmark for nine models ranging from Claude Opus 4.8 to GLM-5.3. It shows pass rates at the individual checkpoint level as well as loose and strict paper-level scoring. In the column for all criteria combined, every model scores 0.00 percent. — GPT-6 Astra 获得了最高的部分得分，但 135 份提交中没有一份同时满足全部三项标准。 | 图片：Kim et al.

只有一份提交是完整的，它来自 GPT-6 Astra。几乎所有其他提交都遗漏了必需的文件，例如预先注册的实验计划，而且没有任何智能体达到专家设定的门槛。在采用接受 90% 评分项的更宽松评分标准下，GPT-6 Astra 最接近达标，其次是 Claude Opus 5.5 和 GPT-5.6 Sol。开源模型的整体表现明显更差。

Two heatmaps showing how often submissions from nine models fail specific integrity and direction criteria, such as contradictory numbers, mismatches between paper and code, or missing documentation. — 大多数完整性违规源于与智能体自身日志相矛盾的数字，以及论文与代码之间的不一致。| 图片：Kim et al.

验证脚本自己确认自己

研究人员分析了 64 份工作轨迹，发现了三种典型的失败模式。最常见的一种出现在 58 个案例中：智能体对自己工作的检查过于宽松。在 34 个案例中，智能体发现了问题却只是记录下来而不去修复。在 21 个案例中，它们单方面缩小了任务范围。

一个例子：Claude Fable 5 在开始实验时忘记启动四个计划中的运行。它的验证脚本沿用了这份不完整的清单，并报告“41/41”次运行完成。该智能体直到最后都相信这个结果。在另一项任务中，GPT-5.6 Sol 注意到其方法未达到目标，但仍然写了论文，而不是推倒重来。DeepSeek V4 Pro 则因为实验“对于剩余时间预算来说太慢”而放弃了实验，尽管实际上并没有时间限制。

Two work logs side by side. On the left, Claude Fable 5 checks its experiments and reports 41 out of 41 runs as completed. On the right, GPT-5.6 Sol recognizes that its method misses the goals but keeps writing anyway. Both passages are highlighted in red as errors. — Claude Fable 5 因验证脚本沿用不完整清单而漏掉了四次缺失的运行，而 GPT-5.6 Sol 尽管未达目标仍写出论文。| 图片：Kim et al

也有反例：在一项量子任务中，GPT-5.6 Sol 发现了一个根本性错误，停止了正在运行的实验，并从头重新计算了一切。

更多的计算时间没有帮助

更长的运行时间并没有带来更好的结果。DeepSeek V4 Pro 和 GLM-5.3 的运行时间最长，中位数分别为 19.5 和 13.9 小时，但得分很低。GPT-6 Astra 的中位数运行时间仅为 1.3 小时，却交出了最好的结果。

Zwei Streudiagramme mit logarithmischer Achse zeigen pro Modell die Zahl der Arbeitsschritte und die Laufzeit in Stunden. DeepSeek V4 Pro braucht im Median 19,5 Stunden, GPT-6 Astra 1,3 Stunden. — GPT-6 Astra 的中位数运行时间最短，却交出了最好的结果。| 图片：Kim et al.

由于最强的模型同时也担任评估者，研究人员进行了交叉核对：由原始论文的作者亲自评判匿名的 AI 论文。在论文是否符合给定研究方向的问题上，自动化系统与专家的判断完全一致。

在科学质量方面，判断仅在约三分之二的案例中一致。例如，一位专家批评这些论文讲不出一个完整的故事。作者们表示，这类判断仍然是人类审稿人的工作。

该研究的代码和数据已公开，项目页面上还有一个受测模型的排行榜。

AI 智能体能够以越来越高的独立性处理科学任务，但在运行实验与开展独立研究之间仍存在相当大的差距。八月的一项研究已经表明，AI 智能体在应对未发表的研究问题时有多么吃力。Epoch AI 和 Anthropic 最近发现，智能体倾向于过于有利地呈现其结果，并且对失败的尝试不够质疑。

对于定义明确的任务，情况则要好得多：GPT-6 Astra 解决了 50 道未发表的理论物理问题中的 49 道，不过这些解答可以被明确验证。一项针对 700 多个 AI 开发任务的分析也显示，尽管智能体承担了越来越多的实际工作，关键的研究决策仍然由人类做出。