Ai2 发布 Old Ideas, Novel Problems 研究与基准，检验 LLM 判断科研想法新颖性的可靠性

📄 论文 | 📊 数据 | 💻 代码

今天，我们发布 Old Ideas, Novel Problems，这是一项新研究，探讨大型语言模型在评估科研创意新颖性方面有多可靠。除论文外，我们还发布了用于测试新颖性评判者的基准、数据和代码，以及一个可供研究人员构建新评估集的自动化流水线。

在 Ai2，我们一直在开发支持科学发现不同环节的 AI 系统。DataVoyager 帮助研究人员探索和分析结构化数据，AutoDiscovery 生成并检验假设，Theorizer 将大量文献中的证据综合为候选科学理论。与 Asta 一起，这些项目共同指向能够帮助研究人员从理解既有工作走向提出、检验和改进新想法的系统。

但生成科研创意只是自动化科学发现挑战的一部分。这些创意还需要贡献真正新颖的东西，这意味着这些系统需要一种方法来区分新颖的方向与只是重新包装既有工作的方向。

这种判断往往交给另一个 LLM——我们称之为新颖性评判者。新颖性评判者评估某个研究创意相对于既有工作是否新颖，可以是独立评估，也可以与其他创意进行比较。目前没有构建这类评判者的标准方法；研究团队需要选择模型、提示词、评估格式、推理预算，有时还有文献检索系统。这些选择可能实质性地影响评判结果。然而，这些评判者通常只在人写的论文上验证，而不是在它们实际要评估的 AI 生成创意上验证。

我们的新基准结果表明，新颖性评估本身远谈不上可靠。在六个 LLM 评判者——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——中，评估设置中看似微小的改动就会对同一批创意产生截然不同的判断。在一项实验中，仅改动提示词中的几个词，模型识别两个创意中哪个更新颖的准确率就变化了超过 50 个百分点。检索和额外推理并不能持续改善判断，两个专门构建的新颖性评估系统的表现还不如一个简单的提示式 Claude Opus 4.6 基线。

如果 AI 要在科学发现中发挥更大的作用，我们就需要更可靠的方法来判断它是否真的在提出新东西。我们的工作为研究这一问题提供了工具，同时也展示了还有多少问题悬而未决。

为新颖性评判者构建基准

为了测试新颖性评判者区分较新颖与较不新颖研究创意的可靠程度，我们首先需要一些例子，其背后的科学贡献的原创性有强有力的证据。

因此，我们围绕 ICLR 2026 同行评审构建了一条自动化流水线。我们没有把论文被接收当作新颖性的代理指标，而是从评审意见本身挖掘评审人明确讨论某项贡献原创性的段落。这一区分至关重要；一篇论文可以在不算特别新颖的情况下被接收，只要它在其他方面足够出色。同样，一篇被拒的论文可能贡献有原创性，但在其他方面存在弱点。

我们通过挑选 ICLR 各研究方向中评分前 10% 的录用论文（审稿人积极认可其新颖性且没有任何审稿人提出异议）来构建了一个包含 154 个人类撰写研究想法的高新颖性池。我们又用相反的标准构建了一个较低新颖性池：来自评分后 10% 的被拒论文中的 145 个想法，其审稿人提出了原创性方面的疑虑，且没有任何审稿人积极认可其新颖性。在另一项针对评审挖掘流程的核查中，标注者在 50 个案例中有 47 个认同提取出的新颖性信号极性；没有任何一处分歧会改变某位审稿人被算作认可还是质疑该论文新颖性的结果。

这两个池共同构成了我们的第一个评估设置，即仅人类（Human-Only）设置，用于测试新颖性评判者能否区分具有较强更高或更低新颖性证据的人类撰写想法。但在实践中，新颖性评判者越来越多地被用于评估 AI 生成的想法。因此我们创建了第二个设置，即人类+生成（Human+Generated）设置。

对于这个池，我们将同样的 154 个经过验证的人类想法与由一个简单 LLM 生成器产生的 154 个想法配对。我们假设生成的想法不如其人类撰写的对应想法新颖；这些是弱标签，并非对每个想法都经过核实的判断。该生成器只收到了一个研究方向和一条提出新颖想法的指令，没有文献检索、工具、迭代或反馈。这让我们得以在一个基础生成器的想法与顶审前 10% ICLR 论文（审稿人已明确认可其原创性）的贡献之间进行保守的比较。

作为额外的核查，一位专家独立审查了 30 对人类+生成样本（重点偏向我们的最强评判者判断错误的案例），并且我们将人类和 AI 生成的想法改写为统一的结构，以测试评判者是否只是在对写作风格差异作出反应。这位专家在全部 30 对样本中都更青睐人类的想法，并认为没有任何一个生成的想法具有新颖性。

重要的是，我们的许多核心发现根本不依赖于这些标签。如果两个合理的评估设置对同一对想法给出相反的答案，这种分歧本身就揭示了不稳定性。

微小的改动就可能产生截然不同的结论

利用我们收集的人类撰写和 AI 生成的研究想法，我们测试了六个 LLM 评判者——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——通过逐点式（即绝对新颖性评分）和成对式（即比较两个想法以找出更新颖者）两种比较方式评估新颖性的能力。我们每次只改变一个因素：提示词、推理预算、评判者能否查看相关论文、想法的格式、多少次判断被合并为最终结论，以及——对于 AI 生成的想法——由哪个模型生成。

性能上最大的波动来自我们如何提示模型来评判新颖性。

例如，我们用两个提示词向 GPT-5.4 展示了相同的 Human+Generated（人类+生成）配对——每对包含一个经过验证的人类撰写想法和一个 AI 生成的想法。一个提示词告诉模型评审发现每对中恰好有一个想法是新颖的，并要求它找出是哪一个；另一个提示词则只是问哪个想法是新颖的。当我们切换到更简单的提示词时，准确率从 93.5% 降至 40.9%——低于随机水平——并且模型对超过一半的相同配对改变了判断。

相比之下，在将人类撰写的想法与较强和较弱的新颖性证据配对的 Human-Only（仅人类）数据集上，同样的提示词变更仅使准确率变动了大约七个百分点。这表明新颖性评判者在人类撰写的研究上可能显得相对稳定，但在 AI 生成的想法上表现却大不相同。

话虽如此，人类撰写的想法也未能幸免。我们在 Human-Only 数据集上也观察到了显著的变动；同样的变更使 Claude Opus 4.6 的准确率移动了 21 个百分点。只是这些变动不如在 AI 生成的想法上那么严重。

也不存在普遍更优的提示词。例如，在逐个评判想法时，删去一条警告评判者不要把琐碎或渐进式贡献视为新颖的指令，对某些评判者提高了准确率，对另一些则降低了准确率。换言之，对一个模型有效的提示词未必能迁移到另一个模型上。

我们还测试了新颖性评判者的一种常见用法：比较来自两个 AI 生成器的想法。我们将 Claude Opus 4.5 与 Claude Sonnet 4.5 的想法配对，将 GPT-5.4 与 GPT-5.1 的想法配对。在测试的提示词变更中，六个评判者平均约有四分之一到三分之一的判定发生了变化。这种分歧的测量无需假设哪个生成器能产生更新颖的想法，这展示了评判者提示词的选择会如何影响对创意生成系统之间的比较。

更多的搜索和推理并不一定能带来更好的新颖性判断。我们给 GPT-5.6 Sol 分配了超高的推理预算和仅限 arXiv 的实时迭代搜索，然后将其与各自查看五篇预检索摘要的标准检索型评判者进行比较。（本次比较中所有评判者对 Human+Generated 上的每个想法均运行一次。）这个智能体式评判者取得了 0.78 的 macro-F1——比 0.89 的 Claude Opus 4.6 落后 11 个百分点，与更简单的 Claude Opus 4.5 和 GPT-5.4 设置大致处于同一区间——而按当前 API 价格计算，其每次决策的成本大约高出 10 倍。（在这里，macro-F1 衡量评判者识别新颖与非新颖想法的能力；越高越好。）

专门构建的评估器也并不更准确，尽管成本高出许多。在 Human+Generated 集上，一个使用低推理量并对三次调用进行多数投票的简单 Claude Opus 4.6 提示词，以 2.59 美元的总评估成本取得了 0.854 的 macro-F1。相比之下，基于文献检索与重排序流水线的 Idea Novelty Checker 得分为 0.642，成本 30.66 美元；而 Sakana AI 的 AI Scientist（其新颖性评估器会迭代搜索 Semantic Scholar）得分为 0.772，成本 82.05 美元。（两个专用评估器都使用 Claude Opus 4.6，每次决策调用一次。）

换言之，这个简单的提示词基线在准确性和成本上都显著优于两个专用系统。

综合来看，这些结果表明，新颖性评估在这些系统日益被要求评判的 AI 生成想法上尤其脆弱。

迈向更可靠的新颖研究评估

我们的结果表明，基于 LLM 的新颖性评估仍然是一个重大的未解难题。在人类撰写的研究上表现可靠的评审，在 AI 生成的想法上可能表现不同；对某个模型有帮助的提示词，对另一个模型可能有害；而更多的搜索或算力并不一定会产生更一致的判断。

未来的工作应当在评审者实际将要评估的那类想法上对其进行测试，衡量其在不同提示词和模型下的敏感性，改进现有文献被纳入的方式，并构建能够随着科学文献增长和 AI 系统进步而不断演进的基准。我们的基准和可复用的数据流水线只是一个起点——研究人员可以将它们应用于新的同行评审、其他科学共同体以及未来几代新颖性评审者。

自动化科研构思不仅取决于生成看似合理的研究方向；我们还需要能够判断这些想法是否真正新颖的方法。通过让当前新颖性评审者的弱点更容易被衡量，我们希望这次发布能帮助研究人员构建更稳健的方式来评估 AI 生成的研究想法。