跳到正文
The Decoder· Matthias Bastian·· 3 小时前精选AI 评分79

Google DeepMind 发布 Gemini 4 Carbon,登顶 Artificial Analysis 智能指数

Google Deepmind releases Gemini 4 Carbon just two weeks after Argon with gains across the board

AI 导读

Google DeepMind 在发布 Argon 两周后推出 Gemini 4 Carbon,以 59 分登顶 Artificial Analysis 智能指数 v5.0(Argon 为 50 分),安全评测中未加防护栏即在 SEC-bench Pro 取得 88.2%。

推荐理由

原文汇总了多个第三方评测机构对 Gemini 4 Carbon 的独立数据,读者可以据此比较其编码、安全与成本表现。

正文 · AI 翻译

Google Deepmind 在发布 Argon 仅两周后推出 Gemini 4 Carbon,新模型登顶 Artificial Analysis 智能指数。

Carbon 在 Artificial Analysis 智能指数最近更新的 5.0 版本中取得 59 分,而前代 Argon 则以 50 分落后。除了在智能体任务和编程方面的整体提升,Google 还强调了涵盖网络防御全生命周期的能力,从检测和验证漏洞到修补漏洞。

Carbon 在 AA 指数总体排名第一,但在 Claude Code 的智能体编程方面仍略逊于 Opus 5.5。 | 图片来源:AA

专为多天编程会话打造

Google Deepmind 表示,Carbon 是为那些需要持续智能体工作流的“更困难、长周期工程问题”而设计的。Google 声称,内部团队连续多天运行该模型,在此期间它自行走出死胡同,并处理了大型代码库和底层软件中的根本原因分析和细微 bug 修复等复杂的多步骤任务。

Google 还报告称,根据用户反馈,该模型在科学推理、多模态理解和全栈 Web 开发方面有所改进。Web 开发方面更高质量的输出和成果使 Carbon 在 WebDev Arena 上的 Elo 分数提升了 89 分,目前以 1,769 分位列第四。

在 Google 自选的基准测试中,Gemini 4 Carbon 在 16 项测试中有 15 项夺得第一,尤其在长上下文和安全任务方面遥遥领先。 | 图片来源:Google Deepmind

在 Gray Swan 的间接提示注入基准测试中,Carbon 将攻击成功率从 Argon 的 0.7% 降至 0.0%,据 Google 称它挡下了所有被测试的操纵尝试。这并不意味着提示注入已被解决,但该测试似乎已达到饱和。

独立评估印证了 Google 的数据

据 Artificial Analysis 称,Carbon 在其最高推理档位("high")下领先智能指数 v5,主要得益于在复杂推理、知识检索和科学任务中的最高分,在该指数的九项独立评估中有四项位居第一。

在 Antigravity 上的智能体编程中,Carbon 虽然相比 Argon 从 53 分跃升至 59 分,但仍落后搭载 Opus 5.5 的 Claude Code 三分。在 AA-Briefcase 的智能体知识工作中,Carbon(high)相比 Argon(high,1,483 Elo)提升 126 分,达到 1,609 Elo,主要得益于演示质量(+293 Elo 至 1,598)和分析质量(+120 Elo 至 1,671)。它仍落后于 Kimi K3.1 Pro(1,678 Elo)、Muse Wonder(max,1,659 Elo)和 Grok 4.7(xhigh,1,638 Elo)。

相比 Argon,答案准确率从 48% 提升至 58%,而幻觉率则从 4% 上升至 11%。虽然有所上升,但在排名中仍是第二低。Claude Opus 5.5(max)和 GPT-6 Astra(max)均为 50%。

评估平台 Vals AI 将 Carbon 以 70.36% 的准确率排在第二位,落后于 Claude Sonnet 5.5(70.85%),领先于 Claude Opus 5.5(70.18%)和排名第四的 Argon(69.24%),且成本更低。

在 Vals 指数 v2.2 中,Gemini 4 Carbon 以 70.36% 的准确率排在 Claude Sonnet 5.5(70.85%)和 Claude Opus 5.5(70.18%)之间。每次测试成本为 10.51 美元,运行时间不到 48 分钟,比两款 Anthropic 模型都更便宜、更快。 | 图片来源:Vals AI

在 Vals.ai 上,Carbon 在 Finance Index 和 Legal Research 两项基准测试中也都位居榜首。在法律研究方面,Vals AI 记录到其引用来源数量比 Argon 多出约 45%,工具调用更频繁,响应也更长。

但 Finance 和 Tax Agent 基准测试中的任务耗时是 Argon 的两倍多,而在 Legal Research 中,Carbon 平均每项任务耗时超过 50 分钟。该模型生成的推理 token 数量是 Argon 的 2.3 倍,输出 token 多 64%,不过仍不到 Sonnet 5.5 和 Opus 5.5 输出 token 数量的一半。

在 Arena.ai 上,Gemini 4 Carbon (High) 以 1,528 分登顶 Text Arena,略微超过 Argon(1,520 分)。在 Agent Arena 中,该模型在超过 21,900 场真实会话中排名第二,领先于 GPT-6 Astra 和 Fable-5.1,净提升 16.2%,并拥有最高的可控性得分(+18.6%)。其中位数任务成本为 1.80 美元,比第一名的 Claude Opus 5.5 (Max) 低 72%。

Arena.ai 将 Gemini 4 Carbon (High) 在 Agent Arena 中排在第二位,净提升 +16.2%,落后于 Claude Opus 5.5 (Max,+21.1%),领先于 GPT-6 Astra (Max,+13.4%)。| 图片来源:Arena

在 Code Arena 的 WebDev 类别中,Carbon 达到 1,768 分(比排名第十一的 Argon 高 89 分),总排名第四,仅比 Claude Sonnet 5.5 (xHigh,1,770 分) 低两分。这使其在全部三个学科中都处于 Pareto 曲线之上。

Carbon 在无护栏的安全基准测试中领先

在多项安全测试中,Google 在没有安全护栏的情况下运行该模型。在衡量真实软件中自主漏洞发现的 SEC-bench Pro 上,Carbon 得分 88.2%,领先所有受测模型。在测试系统能否将发现的漏洞转化为可用漏洞利用的 ExploitGym 上,该模型达到 54.8%。Carbon 在 CWE-Bench 修复编写上也以巨大优势排名第一。

在 SEC-bench Pro(88.2%)、CWE-bench(71.0%)和 ExploitGym(运行十小时为 54.8%)上,Gemini 4 Carbon 均领先 GPT-6 Astra 及其前身 Argon。| 图片来源:Google Deepmind

Google 还引用了无法独立验证的内部结果。据称,在内部基准测试中,Carbon 生成安全代码的频率是 Argon 的两倍多;而在 Google Chrome 团队的测试中,它编写安全补丁的表现比某 unnamed 竞争对手的前沿模型好十倍以上。

安全专家优先获得访问权限

Google 正在逐步推出该模型,并以 Carbon 的高级安全能力为由,参与 美国政府发布前测试流程。精选的网络安全专家从本周起优先获得访问权限。随后,通过 Google Deepmind 的 Fairwind Program,访问权限将扩展到更多可信合作伙伴。

该公司计划在收集更多反馈并调整安全护栏之后,通过其产品界面向开发者、企业和消费者开放该模型。

Gemini 4 Carbon 以与 Argon 相同的 introductory 价格发布:每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 可享受比常规输入价格低 95% 的折扣。

在每项任务成本与 Argon 几乎相同的情况下(7.76 美元 vs. 7.68 美元),Gemini 4 Carbon 的得分提升了九分,达到 59 分,逼近帕累托曲线的顶端,同时也超过了价格更贵的 Claude Opus 5.5(10.04 美元)。| 图片来源:Artificial Analysis

Carbon 在 Artificial Analysis 智能指数中每项任务的成本为 7.76 美元,比 Claude Opus 5.5(最高配置,10.04 美元)便宜约 23%,比 GPT-6 Astra(最高配置,6.25 美元)贵约 1.2 倍。它平均每项任务输出 123,000 个 token,比 Anthropic 的模型(173,000 个 token)少 29%,而且价格几乎与 Argon(7.68 美元)完全持平。

Artificial Analysis 的计算基于每百万输入 token 4 美元、每百万输出 token 20 美元(缓存输入 token 另加 0.20 美元)的常规标价,忽略了当前持续到 2026 年底为止的 50% introductory 折扣。

来源: The Decoder · the-decoder.com