同一模型换Agent框架任务完成率30%到81%

IBM CUGA 团队在 Hugging Face Blog 发布对比研究，探究同一模型在不同 Agent harness（框架）下任务完成率的差异。测试基于 AppWorld 基准的 90 个任务（覆盖 30 个场景），使用同一开源权重模型 GLM-5.3-flash，对比三种 harness：IBM 自家的 CUGA、Hermes 以及 LangChain 的 Deep Agents。结果显示三者任务完成率分别为 81.1%、46.7% 和 30.0%，最高与最低相差超过 50 个百分点；全场景通过率（SGC）分别为 20、8、2。这表明在不更换底层模型的情况下，仅 harness 的选择就会对 Agent 任务表现产生巨大影响。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。