Hugging Face 与 CMU 等发布 XYBench，评测模型识别用户错误假设的能力

📄 论文 | 🤗 数据 | 💻 代码

真正有用的 AI 助手需要能够帮助那些提出错误问题的用户——而不仅仅是帮助那些以恰当的细节提出正确问题的用户。我们发布了 XYBench，这是一个包含 8K+ 问题的基准测试，用于测试 AI 助手如何应对基于误解的请求，例如询问如何增稠总是从纸杯蛋糕上滑落的糖霜，而真正的问题是纸杯蛋糕还太热，不适合抹糖霜。XYBench 荣获 EMNLP 2026 最佳资源论文奖。

一个人所询问的方法与其实际想要达成的目标之间的错位，被称为 XY 问题：一个人想要完成 X，假设某个特定方法 Y 可行，于是寻求关于 Y 的帮助。在纸杯蛋糕的例子中，这个人一心想让糖霜粘住，却没有把纸杯蛋糕太热视为真正需要解决的问题。

XYBench 由我们与卡内基梅隆大学、NVIDIA 和约翰霍普金斯大学的研究人员共同开发，它揭示了 LLM 在排查问题能力上的一个关键缺口：识别用户的请求何时基于一个隐含的误解，并恰当地将其引导向能解决其实际目标的方案。基于涵盖编程以及烹饪、家居维修等日常活动的 8,115 个真实问题，我们提出了一个基准，用于衡量模型能否识别这些误解，并能在回答中优先给出有效的解决方案。

我们在 XYBench 上评估的模型——Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro——通常能为用户的问题提出解决方案，但回答仍然聚焦于原本错误的方法。与人工参考答案不同，这五个模型都不太愿意引导用户放弃该方法、转向适合其目标的解决方案。

人们使用 AI 系统时的知识水平各不相同，可能并不总是知道如何最好地处理一个问题。我们希望 XYBench 能帮助研究人员衡量模型改进是否让助手更善于识别错误假设、解释某个方法为何可能行不通、并提出更有效的替代方案——即使用户不知道应该提出什么正确的问题。

构建 XYBench

我们基于四个来源构建了 XYBench：来自 Stack Overflow 的 1,557 个问题、来自 Stack Exchange 的 184 个问题、102 个人工精选的示例，以及从 WikiHow 指南生成的 6,272 个问题。对于每个问题，我们识别了所述请求（Y）——即用户明确要求的内容——以及意图请求（X），即可以从上下文中推断出的底层目标。

对于公开论坛的问题，我们使用得分最高的三个人类回答以及（如有）被采纳的回答来确定意图请求和可能的解决方案。我们过滤掉了回答所述请求即被认为足够的情况。对于 WikiHow，我们使用 Sonnet 4.5 围绕流程指南中可能存在的误解生成问题，然后进行细化，使其包含足够的上下文，让专家能够推断出底层目标而不必直接言明。我们删除了那些回答字面请求就能基本解决问题的示例。

评估回答的帮助程度

模型可能会花好几段文字推荐一款更强大的吸尘器，然后才简单提一句检查一下软管是否堵塞。如果堵塞正是吸力弱的原因，那么清理堵塞就能解决问题。

更有帮助的回答应该意识到用户想恢复吸力，并把重点放在诊断原因上。这涉及语用学——语言学中研究语境和交际意图如何塑造意义的分支。为了检验模型是否在回答中运用了这种理解，XYBench 从三个方面衡量每个回答：

• 语用解决方案——记录模型的回答是否包含针对明确请求（Y）和真实意图请求（X）的解决方案，并分别进行检查。
• 语用侧重——衡量模型的回答是侧重于明确请求（Y）、侧重于真实意图请求（X），还是二者兼顾。
• 误区识别——衡量模型的回答是否引导用户走向真正的目标（X），同时劝阻或回避错误的做法（Y）。

在 XYBench 中，Claude Sonnet 4.5 担任自动评审。它对每个模型回答中的各个建议进行分类，并评估回答的语用侧重。

为了验证 Sonnet 4.5 的判断，两名人类评审员独立评估了 500 个针对 XYBench 问题的模型回答。两位评审员与自动评审的一致率（取平均值）为：解决方案是否出现为 97.5–100%，误区识别为 84.6–93.3%，语用侧重为 74.2–79.8%。

实验结果说明了什么

我们在单轮设置下、每个问题仅生成一次回答的条件下，评估了 Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 在 XYBench 上的表现。我们还用相同的指标单独评估了人类参考答案。

在所有四个来源中，每个模型都更倾向于提供针对明确请求（Y）的解决方案，而不是针对真正目标（X）的解决方案。在 Stack Overflow 上，针对明确请求的解决方案出现在 75–86% 的回答中，而针对真正目标的解决方案只有 59–71%。

顺带提到一个解决方案并不意味着它是回答的重点。以吸尘器的例子来说，模型可能简单提一句疏通软管，却把大部分篇幅放在购买更强大的吸尘器上。我们会认为这个回答包含针对真正目标的解决方案，尽管模型强调的是明确请求。我们单独测量了整体侧重情况：在 Stack Overflow 上，模型仅在 35–41% 的回答中把重点放在真正目标上，47–57% 的回答把重点放在明确请求上。在其余回答中，模型对明确请求和真正目标给予了相近的侧重。

我们还测试了明确告知用户目标是否有帮助。在一个 oracle 实验中，我们在每个问题旁同时提供了明确请求（Y）和真实意图请求（X）。在 Stack Overflow 上，Sonnet 4.6 给出真正目标解决方案的比例从 59% 升至 67%，但其误区识别率却从 47% 降至 34%。在有人类参考答案的各个来源中，该实验中的每个模型在误区识别上仍然落后于人类。提供意图信息有帮助，但并未能稳定缩小与人类回答之间的差距。这表明识别意图只是挑战的一部分：当意图与明确请求不一致时，模型还需要据此采取行动。

另一项实验测试了模型在评判回答而非撰写回答时，能否识别有用的建议。我们向同样的五个模型（外加 GPT-4.1）提供了每个问题及两个可能的答案：一个只针对字面请求，另一个则解释了误解并回应用户的潜在目标。在 Stack Overflow 上，这六个模型在 71–84% 的案例中选择了以目标为导向的答案。相比之下，在我们主评测中由五个模型撰写的回答里，只有 35–41% 主要聚焦于潜在目标。这一结果暴露了“识别有用建议”与“写出有用建议”之间的差距，而仅靠选择题测试是无法发现这一点的。

这对评测意味着什么

研究人员可以使用 XYBench 来测试对提示（prompting）或训练的改动，是否有助于模型识别误解、为用户的潜在问题提供解决方案，并将这些方案作为回答的重点。分别测量每种行为，可以让研究人员看到某一方面的进步是否也能带动其他方面的改进。

未来的工作可以测试哪些训练方法能帮助模型根据推断出的意图采取行动——即满足用户真正需要的东西，而不仅仅是他们字面上提出的要求。XYBench 目前涵盖英文查询，且主要是程序性问题；将其扩展到其他语言、文化和对话场景仍是一个有待探索的方向。

我们希望 XYBench 能帮助研究人员构建这样的模型：即使用户的第一个问题建立在错误假设之上，也能提供有用的建议。