跳到正文
The Decoder· Maximilian Schreiner·· 3 小时前AI 评分71

METR 审计称 Anthropic 可能 7 月已触发其自身 AI 加速预警阈值

METR finds Anthropic may have crossed its own AI acceleration warning threshold back in July

AI 导读

METR 在 2026 年 8 月至 10 月对 Anthropic 开展外部审计,发现自 2025 年 10 月起其模型测试分数提升速度约为之前的 1.9 倍(AECI 年增速从 15 分升至 29 分),估计约 80% 的提速来自 AI 用于自身研究,并可能早在 7 月 15 日就达到公司设定的加速预警阈值。

正文 · AI 翻译

这正是 METR 试图验证的内容。这家非营利组织的研究领域之一是 AI 开发者是否会失去对其系统的控制。2026 年 8 月 12 日至 10 月 29 日期间,一个由 2.5 名全职人员组成的团队获得了他们所称的前所未有的访问权限,可以查看未发布模型的基准测试结果、训练指标、员工调查和内部分析,并与 Anthropic 研究人员进行了大约 15 次访谈。METR 没有收取 Anthropic 的任何费用,但出于安全原因使用了 Anthropic 的设备。

Anthropic CEO Dario Amodei 近期曾承诺引入外部审计机构。10 月,Anthropic 随后宣布与 METR 开展一项涉及"类员工访问权限"的合作。据 METR 称,本次审计是一个范围更窄的独立项目。

两年进展压缩进一年

据 METR 统计,自 2025 年 10 月以来,Anthropic 模型的测试分数提升速度约为 2024 年 3 月至 2025 年 10 月期间的 1.9 倍。该测量基于 AECI——一项将众多基准测试合并在一起的综合指标。Anthropic 用一年时间实现了过去需要两年才能达到的水平,大致相当于从 Claude 2.1 到 Sonnet 4.5 的跨越。这项分析还包括三个在 2026 年 7 月至 10 月间完成训练的未发布模型。在 2025 年 10 月之前,Anthropic 的模型每年提升约 15 个 AECI 点;此后,这一速度达到了 29。

在 2025 年 10 月之前,Anthropic 的模型每年提升约 15 个 AECI 点。此后,这一速度达到了 29。未发布的模型以橙色标注。| 图片来源:METR

METR 相信这种加速并非由训练算力的更快增长所驱动。相反,审计人员估计,当前约 80% 的加速来自 AI 在 Anthropic 自身研究中的应用。一名员工在访谈中表示:"现在只受限于想法和算力,不再受限于代码。"

其他人则报告称,过去需要一到两天搭建的实验现在"几乎是免费的"。在 2026 年 10 月的非正式 Slack 投票中,员工平均表示最新的内部模型使他们的生产力提升了大约十二倍。METR 将这些自我评估视为"非常不可靠的证据",称其不具代表性,且可能高估实际收益。

自报的生产力提升从使用 Claude 3.7 Sonnet 时的 1.2 倍上升到使用内部 Model 4 时的 12 倍。| 图片来源:METR[

AI 尚未实现完全自主的研究。加速主要来自 AI 扮演助手角色,但已有"生命迹象"表明独立贡献可能很快发挥更大作用。METR 未发现任何会在未来十二个月内拖慢速度的瓶颈,这意味着在未来一年中加速持续增长的"风险显著"。

巨大的不确定性及异议

METR 还强调了结果的不精确性。真实的加速因子可能低至 1.3,也可能高达 3。如果将 OpenAI、Google 和 xAI 的模型纳入计算,全行业的数字会降至仅 1.4,这可能是因为 Anthropic 在 2025 年落后于竞争对手,追赶效应扭曲了数据。

Anthropic 内部的观点也不统一。一名研究员认为 AI 在生产力提升中的占比仅为 15% 至 20%,且不信任同事的自我报告。另一人则认为新员工的加入是近几个月最重要的单一因素。

经过删节的证据削弱了审计的可信度

Anthropic 对所有非公开信息拥有单方面的删改权,并且大量使用了这一权利。据 METR 称,审计人员评定为最具参考价值的大部分证据都被删除了,包括对未�来模型的预测、按训练步骤的细分,以及瓶颈分析。Anthropic 将这些删改描述为"旨在删除可能加速其他 AI 开发者的机密信息"。

结果是,公众不得不"远比理想情况下更"依赖 METR 的判断,该组织写道,任何围绕证据进行透明化的讨论都无从谈起。因此 METR 报告中的一张图表以大字标注了"FAKE DATA"(虚假数据)。

Anthropic 叫停了一项算力分配审计

在一份配套的评估中,METR 还审查了 Anthropic 2026 年 8 月的风险报告。在该报告中,公司公开表示加速"不到 2 倍"。然而,未删改的内部版本显示数值为 1.97,而且 Anthropic 自己也认为"有可能"已经跨过了这一阈值。METR 认为警告级别可能早在 7 月 15 日就已达到,并指责公开报告低估了加速程度及其相关的不确定性。

METR 目前认同 Anthropic 对急性灾难性风险"较低"的评估,但该组织无法排除未来六个月内再次出现急剧加速的可能性,而这可能迅速推高风险评级。

METR 最初还应核实 Anthropic 如何在能力研究与安全研究之间分配算力。Anthropic 在项目进行到一半时取消了这一部分,理由是想先专注于风险评估,稍后再重新进行算力审计。

"AI 2027"情景背后的研究者 Daniel Kokotajlo 在 X 上作出了尖锐回应,指出审计算力分配是让放缓承诺首先变得可验证的基础。

来源: The Decoder · the-decoder.com