阿里巴巴等机构推出 Co-Design Bench：十个模型中最好的也只有约四分之一任务可完全完成

来自阿里巴巴及多所亚洲高校的研究人员基于真实用户的修改请求构建了一个编程智能体基准测试。即使是表现最好的模型，也只能完全完成大约四分之一的任务，这让人重新审视旧有测试中接近满分的成绩。

该团队开发了 Co-Design Bench，一个面向编程智能体的新测试。智能体必须根据用户请求对现有 Web 应用进行改造，有时还需要以图片、音频、视频或文档作为输入。

根据该论文，在十个被测模型中表现最好的 GPT-6 Astra 平均只能满足一个任务约 70% 的要求。而且只有在 26.4% 的任务中结果完全正确。在大多数情况下，智能体完成了大部分工作，却至少留下一处细节未完成，因此使用这些工具的人几乎总是需要手动收尾。

编程基准测试对智能体来说已经变得太容易了

作者以现有基准测试的饱和为由说明设立新测试的必要性。当模型能够运行、检查并修复自己的代码时，它们在这些测试上的得分会超过 99%，模型之间的差异几乎无法衡量。

Co-Design Bench 转而采用来自真实编程会话的实际请求。研究人员优先选取那些用户不得不多次改述请求或回滚更改的情况，因此该测试主要包含那些在实践中已经让 AI 智能体感到棘手的任务。任务范围从小幅调整（比如从收据中提取金额并更新所有相关的合计值），到整个项目的大规模改造。

评分同样严格。一个 AI 评审在浏览器中测试完成的应用，然后由第二个评审复核每个阳性判定，并查找模拟数据或硬编码的结果。只有应用中真正可用的功能才能得分。

在 GPT-6 Astra 之后，Claude Opus 5 和 Qwen3.8-Max 分列其后，而 Grok 4.6 垫底。在较大规模的改造任务上，规模小得多的 Qwen3.8-27B 升至第二，但作者并不据此认定该模型具有普遍优势。

随着任务中组合的更改类型增多（包括布局、设计、交互和内容），所有模型的性能都会下降。但在真实项目中，这类交织的需求才是常态

额外的算力也难以弥补这一弱点。GLM-5.2 在较小的更改上消耗的 token 数量几乎是 GPT-6 Astra 的六倍，得分却仍然明显更差。

在另一项测试中，研究人员在不同的运行框架（即智能体读取、编写和执行代码所用的程序）中运行了相同的模型。根据环境的不同，Qwen3.8-27B 在大型改造任务上的得分分别为 75 分或仅 56%。两个模型中哪个更胜一筹，同样取决于环境。

因此，仅列出模型的排行榜只能说明部分情况。作者建议始终将模型和工作环境放在一起报告。对于选择编程智能体的公司来说，这意味着需要将这两个组件成对进行测试。

这个新基准测试确实存在局限。它对每个任务只评估一条固定的请求；用户的后续提问或任务中途的修正并不在测试范围内。AI 评判也可能出错。

研究机构 METR 的一项研究已经表明，基准测试结果与实际可用性之间的差距可能有多大。项目负责人实际接受 AI 生成代码的比率，比广为使用的 SWE-bench Verified 上的分数低了大约 24 个百分点。

测试环境中的缺陷也可能让智能体在没有真正解决问题的情况下通过任务。不过，工作环境的影响并不明确。最近一项关于编程智能体的研究发现，更复杂的运行框架几乎没有带来可衡量的收益，尽管它们消耗的 token 最多达三倍。