Gemini 4 Argon 以 97.5% 登上 ARC-AGI-3，测试环境与短板成为焦点

Google Deepmind 是第二个在 ARC-AGI-3 基准测试中突破 95% 的大型 AI 实验室。但根据 Epoch AI 的数据，测试结果在很大程度上取决于测试方法，而且 Argon 在数学和软件工程方面落后于竞争对手。

Google Deepmind 的新前沿模型 Gemini 4 Argon 在使用"Provider Adapter Harness"——一种利用保留推理和上下文压缩等厂商专属功能的测试设置——的条件下，以 4,800 美元的成本在 ARC-AGI-3 上取得了 97.5% 的成绩。据 ARC Prize 称，Google 现已成为继 OpenAI 之后第二个在这一被普遍认为是最难的通用问题解决基准上突破 95% 关卡的 AI 实验室。只有 GPT-6 Astra 得分更高，为 99.9%。

Punktdiagramm zur Anzahl der benötigten Aktionen in 25 öffentlichen Spielen von ARC-AGI-3 im Vergleich zwischen menschlicher Baseline, GPT-6 Astra, Gemini 4 Argon und dem Speedrun-Rekord. — 在 ARC-AGI-3 的 25 个公开游戏中，Gemini 4 Argon（黄色）和 GPT-6 Astra（蓝色）都比人类基线（紫色）少用了 62% 的操作次数，并且经常接近速通记录（红色）。| 图片：ARC Prize

与 Astra 一样，Argon 在 25 个公开游戏中比人类基线少用了 62% 的操作次数。它在三个游戏中追平或打破了速通记录，在另外六个游戏中与最佳时间的差距在 10% 以内。在较早版本的基准上，按照每百万输入 token 2 美元、每百万输出 token 10 美元的首发定价计算，Argon 在 ARC-AGI-2 上得分 91.3%（每项任务 0.32 美元），在 ARC-AGI-1 上得分 98.5%（每项任务 0.16 美元）。

Zeitverlauf-Diagramm des Epoch Capabilities Index (ECI) von Januar 2025 bis Januar 2027, das Gemini 4 Argon bei 165 Punkten knapp unterhalb der führenden Frontier-Modelle einordnet. — 在 ARC-AGI-3 的 25 个公开游戏中，Gemini 4 Argon（黄色）和 GPT-6 Astra（蓝色）都比人类基线（紫色）少用了 62% 的操作次数，并且经常接近速通记录（红色）。| 图片：ARC Prize

基准测试结果在很大程度上取决于测试设置

在只允许回合之间进行简单笔记的"Standard Harness"中，Argon 在低推理模式下以 5,800 美元的成本降至 49.8%。这一差距可以追溯到 2026 年 7 月的一场争议，当时 OpenAI 的 GPT-5.6 Sol 使用两个 API 设置在 ARC-AGI-3 上击败了 Claude Opus 5。

GPT-5.6 Sol 在标准环境中只取得了 7.8% 的成绩，该环境会在每次操作后丢弃内部推理，并使用了缺少较新 Claude API 功能的旧接口。这意味着 Claude 的测试条件与 GPT-5.6 不同。当使用 OpenAI 自己的 Responses API 进行测试，包括"保留推理"（Retained Reasoning）和智能上下文"压缩"（Compaction）时，该模型的分数跃升至 38.3%，并以 30.2% 的成绩击败了 Opus 5。OpenAI 主张，基准测试总是在同时衡量技术环境。随后，ARC Prize 联合创始人 Francois Chollet 允许使用通用的、公开可用的 API 设置。

API 问题也导致 Argon 未能完成 Standard Harness 中的全部 55 个游戏，据测试者称。在低推理模式下，系统完成了 42 个游戏（49.8%），中等模式下完成了 46 个游戏（46.3%）。在最高级别下，它只完成了 19 个游戏，因此 ARC Prize 未公布分数。由于计入中止运行的部分得分，报告的结果仍覆盖了全部 55 个游戏。

Argon 缩小了差距，但在数学和编程方面落后

研究机构 Epoch AI 也在跟踪 Google 的进展。Argon 在 Epoch 能力指数（ECI）上得分 165 分，与 Fable 5.1 持平，仅落后于 Opus 5.5（167 分）和 GPT-6 Astra（166 分）。ECI 将 50 多项基准测试综合成一个单一的能力量表，类似于 Artificial Analysis 构建其主要分数的方式。

Diagramm des ARC-AGI-3-Leaderboards, das die Punktzahl in Prozent im Verhältnis zu den Kosten in US-Dollar für Gemini 4 Argon und Konkurrenzmodelle wie GPT-6 Astra zeigt. — Google 的 ECI 得分为 165 分，这是自 2026 年 2 月的 Gemini 3.1 Pro 以来，它最接近由 GPT-6 Astra（166 分）和 Opus 5.5（167 分）领衔的当前 AI 前沿的时刻。| 图片来源：Epoch AI

Argon 大幅超越 Gemini 3.8 Flash（157 分），使 Google 达到了自 2 月 Gemini 3.1 Pro 以来最接近榜首的位置。Artificial Analysis 和 Vals.ai 此前已证实了这一趋势。

不过，各领域的表现有所差异。据 Epoch AI 称，Argon 在多个知识、智能体和视觉基准测试中领先，但早期估计显示，它在 Math ECI 上排名第八，在软件工程指数（SWE ECI）上排名第六。

无炒作的 AI 新闻 – 人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六期独家 "AI Radar" 前沿报告、完整档案访问权限，以及评论区的访问权限。