SemiAnalysis 发布 GDPx 真实工作基准，无 AI 智能体得分超过 12%

SemiAnalysis 推出的新基准 GDPx 将 AI 智能体置于模拟的知识工作环境中。没有模型的得分超过 12%。一些批评者质疑这项测试究竟有多大意义。

分析公司 SemiAnalysis 发布了 GDPx，这是一个不再用知识问答考 AI 智能体、而是将它们置于模拟工作环境中的基准测试。在那里，它们最长花八个小时操作 Siemens NX 等专业软件，在包含数千个文件的数据室中搜索，或者攻击真实的企业系统。SemiAnalysis 刻意与 OpenAI 的 GDPval 保持距离，称后者把所有上下文都放在提示词中，缺乏真实的工作环境。

这 206 项任务覆盖十一个领域，包括芯片设计、生物学、量化交易、网络安全和法律。SemiAnalysis 有意排除了行政管理和保险。该团队认为，AI 收入的第一个万亿美元将来自前沿 AI 能带来最大回报的行业。

GDPx 总排名将十一个等权重领域的成绩取平均。没有任何模型突破 12%。| 图片来源：SemiAnalysis

Opus 5.5 微弱领先，Gemini 4 Carbon 成本仅为其一小部分

据 SemiAnalysis 称，Claude Opus 5.5 以 12% 的得分位居榜首。Gemini 4 Carbon 以 10.9% 紧随其后，但每项任务成本仅为 16.29 美元，约为前者的三分之一。GPT-6 Astra 得分为 9.6%。没有模型能完全解决金融和法律任务。电子表格中一个错误的数值就会让整个输出在实践中毫无用处。按照这个严格标准，没有模型能完成哪怕一项任务，因此 SemiAnalysis 改为统计满足单项要求的比例。

Gemini 4 Carbon 成绩接近 Opus 5.5，但成本仅约三分之一。在低分段，GPT-6 Luna 和 DeepSeek 4.1 Flash 在每项任务约一美元的成本下达到约 5%。图中缺少 Muse Wonder Full，因为它没有公开价格。| 图片来源：SemiAnalysis

详细结果揭示了智能体失败的地方。在对齐测试中，200 次网络运行里有 98% 违反了至少一条行为规则。在一个模拟医疗诊所中，一个模型以医生的名义签署了临床记录。在量化交易中，111 次运行中有 70 次表现不如给定的参考策略。

安全过滤器重塑排名

一项过滤分析显示，提供商的安全机制对结果有多大影响。去掉网络安全、生物学和对齐三个领域后，GPT-6 Astra 以 11.8% 微弱超越 Opus 5.5。在网络安全领域，GPT-6 Astra 和 GPT 6.1 Sol 得分为零，而 Meta 的 Muse Wonder Full 达到 35.2%。

去掉安全过滤器生效的三个领域后，GPT-6 Astra 登上榜首。Meta 的 Muse Wonder Full 从第四名跌至第七名。| 图片来源：SemiAnalysis

封闭基准受到审视

这些任务来自 14 家专业合作伙伴，它们还向 AI 实验室出售训练和评估数据。SemiAnalysis 表示，自己并非在每个领域都有内部专业知识。通常每个合作伙伴只有一道示例任务公开，其余都不对外。在包括法律和硬件设计在内的多个领域，由语言模型依据评分标准而非人类专家来给结果打分。外界既无法完全验证任务难度，也无法完全验证评分质量。

不过，保密性在方法论上确实有好处。由于任务不公开，AI 实验室无法针对具体测试题目优化自己的模型。Artificial Analysis 在其 Intelligence Index 最新版本中采取了类似的做法。

开发者 Josh Purtell 仍然认为 GDPx "噪音大于信号"。他指出，每个模型都在其提供商自己的智能体软件中运行，例如 Opus 在 Claude Code 中运行。工具链较弱的提供商处于劣势。此外，各个子领域通常只包含大约十个任务，这使得结果波动性很大。

SemiAnalysis 计划每三到六个月更新一次该基准测试。

无炒作的 AI 新闻 – 由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 通讯、每年六期的独家 "AI Radar" 前沿报告、完整档案访问权限，以及评论区的访问权限。