跳到正文
The Decoder· Matthias Bastian·· 3 小时前AI 评分56

微软研究:清空对话历史帮助 AI 智能体找到更优解

Clearing chat history helps AI agents find better solutions

AI 导读

Microsoft Research 研究发现 Autoresearch agents 会因累积的对话上下文困在「idea basins」,即使增加算力也在相似解上停滞。

正文 · AI 翻译

Matthias Bastian

2026年10月12日

Image description

由 THE DECODER 提示词生成的 Nano Banana Pro 图像

微软研究院的一项研究发现,长期运行的 AI 研究智能体即使获得更多算力也可能陷入停滞。积累的对话上下文可能限制它们的搜索,使其专注于相似的解决方案,而不是探索更好的方法。

微软研究人员研究了他们所谓的“Autoresearch 智能体”,即反复提出解决方案、评估它们并根据反馈进行改进的 AI 系统。同一智能体在同一任务上的八次独立运行在不同性能水平上陷入停滞,最终得分从 68.3 到 100.0 不等。论文指出,即使大幅增加算力,这些差距依然存在。

智能体陷入“创意盆地”

研究人员绘制了将所有运行的解决方案放在一张二维地图上(相似解决方案彼此靠近),然后进行比较。单次运行的解决方案几乎总是停留在地图的一个小区域内。作者将这些区域称为“创意盆地”。

智能体将剩余算力预算的很大一部分用于在产出较低的区域内部完善解决方案,而不是寻找其他运行中发现的更好方法。即使智能体定期压缩其对话历史,这种模式依然存在。

清除聊天记录让智能体探索新方法

他们提出的方法“Fork-and-Flush”结合了两种机制。在“分叉”中,智能体分裂成 K 个并行分支,每个分支继承之前的工作区和所有生成的文件。在“冲刷”中,每个分支丢失全部聊天上下文但保留工作区,从而可以开始全新的对话并在先前工作的基础上继续。

左侧,单次运行(灰色虚线)持续在同一个创意盆地内部完善解决方案。Fork-and-Flush 启动具有全新聊天上下文的并行分支,保留最佳分支,舍弃其余分支。右侧,一个拥有全新上下文的分支进入不同的创意盆地并取得了更高的分数。| 图片:Cai, Ziakas et al. (2026)

保留父进程聊天上下文的分支往往回到同一个创意盆地,因为先前的推理会引导其后续步骤。全新上下文恢复了搜索的多样性。对话历史虽然丢失,但代码、文件和保存的结果仍保留在工作区中。

在相同算力预算下,归一化平均分高出 66%

研究人员在 13 项长期运行的任务上测试了 Fork-and-Flush,包括多联骨牌填装、作业车间调度和密码分析。任务还包括压缩 CIFAR 分类器和优化 VLIW 内核。单次运行持续数小时到超过 100 小时不等。智能体通过 GitHub Copilot CLI 使用 GPT-5.6-terra 和 GPT-5.5。

在相同算力预算下,Fork-and-Flush 取得了 0.78 的最小-最大归一化平均分,而单次运行为 0.47,best-of-4 为 0.54。论文报告相对提升分别为 66.0% 和 44.4%。该方法在 13 项任务中的 12 项上取得了最高的平均分。

Fork-and-Flush 还产生了更一致的结果,归一化标准差从单次运行的 0.26 降至 0.16。仅仅清除聊天上下文而不进行分支,就能将结果提升 22%。

评估 方法 归一化平均分 归一化标准差 相对各自单次运行基线的提升
13 项任务 单次运行 0.47 0.26 基线
13 项任务 Best-of-4 0.54 0.21 约 +14.9%
13 项任务 Fork-and-Flush 0.78 0.16 +66.0%
11 项任务 单次运行 0.45 — 基线
11 项任务 仅刷新 0.55 — 约 +22%

更强的模型可能仍需要上下文重置

研究人员还在三个模型规模(Qwen3.5-4B、9B 和 27B)上测试了更强的模型是否能避免“思路盆地”,使用的是 MAX-3-SAT 问题。多次运行之间的方差呈倒 U 形曲线,在处于模型能力边缘的任务上达到峰值,大致位于随机猜测性能与参考求解器性能的中间点。

模型在能力边缘的任务上表现差异最大,有些运行成功,有些则远未达到目标。在非常简单的任务上模型几乎总是成功,在非常困难的任务上则几乎总是失败。这一模式在测试的所有三个模型规模上都成立。 | 图片来源:Cai, Ziakas et al. (2026)

作者认为,开放性研究问题按其定义就处于模型能力的极限。他们预计 Fork-and-Flush 所利用的这种方差会随着模型的改进而持续存在,只是边界会向更难的问题移动。结果表明,即使对于前沿研究智能体,定期的上下文重置也可能仍然有用。

AI News Without the Hype – Curated by Humans

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六期的独家“AI Radar”前沿报告、完整档案访问权限以及评论区的访问权限。

立即订阅

  • 完整访问 THE DECODER 上的所有文章
  • 无广告
  • 参与评论和社区讨论
  • 每周通过邮件获取 AI 新闻回顾
  • 每年 6 期:“AI Radar”——深入探讨最重要的 AI 话题
  • 每日 AI 新闻,实时更新
  • 我们完整十年的档案库
  • 由拥有 10 年以上 AI 经验的团队报道

来源:The Decoder · the-decoder.com