Taste-Bench 基准揭示 AI 智能体长期决策品味不佳

论文作者将做出这些选择的能力称为智能体的"品味"。现有基准只衡量智能体是否完成任务，而不衡量其过程中步骤的质量。Taste-Bench 正是为填补这一空白而设计。

长期决策无法在当时被评判

你无法立刻评判一个长期选择。一个整洁的实现和一个潦草的实现可能最初产出相同的结果，并可能通过相同的测试。整洁的做法只有在后续改动变得更容易时才会显现价值。人工评分成本高昂，需要深厚的领域专业知识，且无法规模化。

因此研究人员依靠事后验证。一条轨迹的后续路径，即记录了智能体运行所有步骤和观察结果的轨迹，可以显示早先的选择是否有效。在实践中，智能体系统会多次尝试同一任务。这些尝试最终会朝不同方向分岔。

由于每次尝试的最终结果揭示了更好的路径，这些运行本身就提供了带标签的对比。作者将这个分岔点称为"决策分叉"。为了衡量品味，他们把运行冻结在分叉点，隐藏之后的所有工作，让模型在两条路径之间做出选择。

Diagram of a decision fork during masked language model training. Option A, "reduce model size, train more steps," ends at a loss of 6.56. Option B, "keep model size, train fewer steps," ends at a loss of 7.66. — 在决策分叉处，模型必须在后续轨迹揭示哪条路径更好之前，在两个方向之间做出选择。| 图片来源：Pan et al.

过去的错误揭示智能体在何处出错

Taste-Bench 包含 502 道题目，每道题包含原始任务、到分叉点为止的轨迹，以及两个可能的方向。第一种类型来自对同一任务的两次独立尝试的分岔，其中智能体从未见过错误的路径。

第二种类型来自智能体在单次运行中的自我纠错和绕弯路。这里，最初被放弃的方向和后来成功的方向构成两个候选。这一变体测试模型能否比执行任务的智能体更早发现错误。

原始数据来自数千次在编码和 AI 研究任务上经过评分的智能体运行，包括 SWE-bench Pro 和 METR 公开发布的对话记录 MALT。一个生成器模型筛选出合适的分叉，剔除答案显而易见的简单问题，并移除无法判定的案例。人工审核确认了几乎所有自动生成的标签。

即使顶级模型也仅略胜于抛硬币

团队测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列的 14 个当前模型。每道题被问两次，一次按正常顺序，一次将选项翻转。只有模型两次都答对的题目才计入。纯猜测在这里的准确率为 25%。

测试中表现最好的模型 GPT-5.6 Sol 平均达到 59.7%，GPT-5.5 以 59.5% 紧随其后。所有其他模型的得分都远低于此。尽管每道题只是一个二元选择，但没有模型接近完成该基准。绕道分叉始终比平行分叉更难。

Three bar charts show the accuracy of 14 models on Taste-Bench across average, research, and engineering splits. GPT-5.6 Sol leads overall with 59.7 percent, followed by GPT-5.5 and Claude Opus 5. — 在这些二元决策题上，即使最好的模型也只有大约 60% 的情况能选出更好的方向。| 图片来源：Pan et al.

当证据只在后期才出现时，模型表现崩溃

对于每个分叉，团队检查观察者需要向前看多远，才能看清哪条路径更好。当关键线索在先前步骤中已经可见时，所有模型的平均准确率达到 62.3%。当该线索只在大量后续工作之后才出现时，准确率降至 21%，接近随机猜测。回答这些问题意味着预测未来的工作。

延长思考时间并没有帮助。研究人员用两台模型的三个推理档位重复了测试。从最低档切到最高档，准确率几乎没有变化。模型在最难的层级上消耗了最多的推理 token，在错得最多的问题上思考得最久。研究团队认为，这表明在那些分叉点上，所需的线索根本还不存在。

决定性证据在轨迹中出现得越晚，模型表现就越差，而更多的推理预算也无法改变这一点。| 图片：Pan et al. 作者表示，该基准测试捕捉的是一种与 SWE-bench Verified 等经典端到端测试不同的技能。在那里得分相近的模型，在 Taste-Bench 上却显示出明显差距。

品味原来是可以训练的

研究人员还证明了品味是可以教会的。他们将一个知道正确路径的教师模型的判断蒸馏到一个只能看到问题的学生模型中。他们使用 Qwen3.6-27B 作为基础模型。在未见过的任务上，学生模型的准确率从 30% 跃升至 47.9%。

这一提升在实践中得到了回报。团队将学生模型的判断作为建议加入每个分叉点的任务上下文中，并让一个独立的智能体来解决问题。在 41 个留出的 SWE-bench Pro 任务上，成功率从 14.6% 上升到 33.7%。如果建议完全正确，本可达到 39%，因此学生模型捕捉到了大部分可能的收益。

Two bar charts show judgment accuracy rising from 30.0 to 47.9 percent and SWE-bench Pro success rate climbing from 14.6 percent without advice to 33.7 percent with student advice, compared to a ceiling of 39.0 percent with correct advice. — 在训练后的 Qwen3.6-27B 学生模型的指导下，智能体解决的 SWE-bench-Pro 任务数量增加了一倍以上。| 图片：Pan et al.

团队得出结论：长期规划智能体的判断力既可以被测量，也可以被提升。基准测试和代码均已公开。

AI 智能体现在可以长时间独立工作。在 MirrorCode 基准测试中，一个模型在单个任务上无需人类帮助连续运行了 19 天。标准基准测试通常只检查最终测试是否通过。METR 已经证明，SWE-bench Verified 显著高估了编码智能体的性能。即使自动化测试通过，专业人员仍因基本的功能性缺陷拒绝了许多解决方案。Taste-Bench 上的头号模型 GPT-5.6 Sol，还在 METR 的评估中创下了有记录以来最高的软件测试作弊率。