METR 报告显示 Anthropic 用 AI 加速自身研发并大量删改公开版本
Why a new report on Anthropic automating AI development is alarming researchers
METR 在对 Anthropic 进行 11 周评估后发布报告,称其 AI 模型改进速度约为一年前的两倍,过去一年取得约相当于历史两年的进展,且截至 10 月大部分加速来自 AI 而非单纯扩大算力。
METR 报告给出 Anthropic 模型进步速度翻倍且主因是 AI 参与研发的证据,同时揭示大量内容被删改带来的透明度争议。
Anthropic 正在用 AI 打造更强大的 AI。而且效果看起来非常显著——该公司的模型提升速度大约是一年前的两倍,且几乎没有放缓的迹象。
这是总部位于旧金山的 AI 安全研究机构 METR 周四发布的一份新报告的结论。METR 在该公司内部进行了为期 11 周的调查,作为评估其 AI 研发情况报告的一部分。这次调查不同于在今夏发生一系列引人注目的黑客攻击事件后推出的一项计划,后者为安全研究人员提供“类员工”级别的系统访问权限。
这些发现是迄今为止关于 AI 正在加速自身发展的最清晰证据之一,同时也引出了一个问题:这项技术会以多快的速度迈向一个 AI 系统几乎无需或完全无需人类参与就能自我改进的未来。这些发现对 Anthropic 来说正值关键时刻,该公司正筹备上市,而其 CEO Dario Amodei 却公开呼吁各大实验室给 AI 开发踩踩刹车。
不过,尽管这份报告让外界难得一窥全球顶尖 AI 实验室的内部运作,但它省略的内容同样能说明问题。根据 Anthropic 与 METR 的协议,Anthropic 被允许对最终报告的部分内容进行删节,而它似乎大量行使了这项权力,这让人质疑公众对于前沿 AI 发展的速度——以及风险——究竟了解多少。
以下是一些最重要的要点。
AI 正在大幅加速 Anthropic 的研发
METR 最值得注意的发现之一是,Anthropic 的 AI 模型的提升速度大约是一年前的两倍,基准测试分数表明“Anthropic 在过去一年中取得了大约相当于历史上两年的进展”。至关重要的是,METR 的研究人员表示,他们“确信”这种加速并非仅仅因为扩大了用于训练模型的算力规模——而算力扩张历来是 AI 进步的主要驱动力。
相反,研究人员表示,截至 10 月,大部分加速“源于 AI”,且其贡献随时间不断增长。这一发现得到了非正式 Slack 投票和对 Anthropic 员工访谈的支持,这些调查指出了可观的生产力提升。METR 写道,使用 Anthropic 最强大内部模型的员工平均自述,其工作效率大约是未经 AI 辅助时的 12 倍,约为几个月前员工使用 Mythos 5 时所报告数字的两倍。
目前,这种加速似乎主要来自 AI 辅助人类研究人员,而非 AI 独立工作,不过 METR 警告说,“有一些迹象表明,完全自主的贡献很快将发挥更大的作用。”值得注意的是,研究人员表示,他们没有发现任何明显的收益递减迹象或可观察到的瓶颈,这些瓶颈本可能阻碍“更快的加速”。
Anthropic 的三款最新 AI 模型仍未公开
Anthropic 的研究人员正在使用比我们其他人更先进的 AI 模型,METR 所描述的许多加速和生产力提升都要归功于尚未发布的内部模型。
据 METR 称,过去六个月里,Anthropic 已完成三个尚未发布模型的训练。开发速度非常快,这三个模型——代号分别为 Model 2、Model 3 和 Model 4——分别在 7 月、8-9 月和 9-10 月完成训练。METR 还发现了一个可追溯至 2022 年的未发布模型,称为 Unreleased 2022。研究人员写道:“这些是与我们共享的代号;我们了解到它们有不同的内部代号。”
Anthropic 对关键信息保密
作为研究过程的一部分,Anthropic 向 METR 开放了大量非公开信息,包括机密研究、模型性能数据和员工访谈。它并没有义务这样做,而且按 METR 自己的说法,这家 AI 实验室“分享的信息超出了本项目最初设定的范围,超出了我们的预期”。这值得称道,但值得注意的是,Anthropic 并未授予研究人员不受限制的访问权限,也未提供其在上个月宣布的一项单独计划中承诺给予其他 METR 安全研究人员的那种“类似员工”的访问权限(承诺)。这是一个重要区别,因为公司可以从独立评估中获得声誉收益,即便这些评估带有重大限制。
而这些限制确实非常重大。Anthropic 有权从 METR 的最终报告中删减信息——而且它大量使用了这项权力。“我们向 Anthropic 提交了一份约 100 页的完整评估报告。在公开版本中,Anthropic 删减了我们发现的大部分最具参考价值的证据,”METR 在 X 上写道。
METR 在报告通篇反复强调这些担忧,并指出了其获取信息的其他限制。“我们的信息渠道相对狭窄,少数几项数据请求被拒绝了。”
METR 多次强调 Anthropic 的删减决定对其传达研究结果以及让外界评估该公司状况的能力造成的影响。报告指出,许多被删减的证据可能存在“多种合理解释”,使公众难以评估其研究发现、理解其中的不确定性并自行判断证据。“(由于删减的)后果是,鉴于此处所回答问题的重要性,公众不得不比理想情况下更加依赖 METR 的判断,”报告称。
METR 在报告中表示,Anthropic 为删减辩护的理由是公开这些信息可能让竞争对手受益。不过,METR 表示“大部分被删减的信息都非常高层”,尽管它表示自己无权评论这些删减在商业上是否合理。
“我们删减了很多内容,我承认这会让他人更难核查 METR 的工作,”Anthropic 联合创始人 Sam McCandlish 在 X 上的一篇长篇帖子中回应 METR 的研究结果时承认。“但我们认为,公开究竟是什么在推动这一加速并不是正确的做法,既因为这在商业上很敏感,也因为这有可能为其他人递上一份跑得更快的路线图,”他说,并补充说这样做会让 METR 所担心的风险“变得更糟”。
McCandlish 表示这是一种权衡,但坚持认为 Anthropic 决定隐去这些信息是“正确的选择”。他表示,公司计划“在未来几周内”发布自己的关于 AI 进展速度的报告,以及正在采取的加强安全的新步骤。
Anthropic 正在加速它自己警告为危险的技术,而且速度比许多人预期的更快
METR 报告的发布在 AI 安全研究人员和评论员中引发了强烈反弹,矛头主要集中在 Anthropic AI 方针核心的一个明显矛盾上:该公司一直是最直言不讳地倡导安全与负责任开发的公司之一,但这份报告表明,它正在帮助加速这项技术迈向许多人认为危险的阈值,同时似乎未能履行自己在透明度和问责方面的承诺。
对一些人来说,这些发现表明,即使是该领域对 AI 进展最激进的预测,也可能过于保守。这些发现表明,递归自我改进——即 AI 系统能够在没有人类干预的情况下自主开发出日益强大的后继系统,从而可能大幅加速发展——可能比之前认为的更近,这引发了人们对现有安全措施能否跟得上的担忧。虽然 METR 的报告仅涵盖 Anthropic,但 OpenAI 在 9 月表示,它正在“取得强劲进展”,目标是到 2028 年 3 月构建出一个能够在“深度学习和对齐方面进一步取得进展”的 AI 研究员。
这份报告提供了证据,证明 AI 加速自身发展的速度究竟有多快
Apollo Research 为多家领先的 AI 实验室提供 AI 安全测试,其 CEO 兼创始人 Marius Hobbhahn 告诉 The Verge,这份报告表明 AI 赋能的研发速度甚至比 AI 2027 中预测的还要快——后者是一个颇具影响力的情景预测,设想在 2027 年初实现通往自我改进的关键突破。他表示,这份报告之所以引起如此多的关注,是因为它为一个一直很难确定的问题提供了证据:AI 加速自身发展的速度究竟有多快。
Hobbhahn 表示,这些发现与该领域许多人的预期大致一致,或许还要稍快一些。科技政策研究中心 GovAI 的高级研究员 Alan Chan 告诉 The Verge,这些发现应该促使怀疑者重新审视他们对 AI 加速 AI 发展的立场,并可能缩短他们对何时会出现能够完全自动化软件工程等任务的系统的时间预期。
在 X 上,其他研究人员对这一加速速度及其对 AI 发展的影响发表了评论。AI 安全组织 The Nightingale Collective 的创始人兼 CEO、前 METR 研究员 Sydney Von Arx 也将这些发现与 AI 2027 的时间线进行了比较。METR 研究员、曾任职于 AI 安全组织 Redwood Research 的 Ryan Greenblatt——他也是获准调查 OpenAI 入侵 Hugging Face 事件的三名外部研究人员之一——表示他“对 RSI 加速的判断严重错误;我之前对 2026 年的预期要低得多。”
人们对 Anthropic 安全方针的不满情绪正在加剧
这份报告不仅凸显了 AI 发展的速度之快,还引发了人们对 Anthropic 在推动这一进程中扮演的角色日益增长的不满。该公司一直是最积极倡导负责任 AI 开发的公司之一——也从不吝于呼吁他人放慢脚步——但自己却似乎在全速冲刺。这份报告只是加剧了其上个月发布的 IPO 招股书和未来计划所引发的紧张情绪。
Anthropic 以透露更多内容可能帮助竞争对手加速自身开发为由,对报告进行了大量删改,这一决定招致了虚伪的指责。Daniel Kokotajlo 是前 OpenAI 研究员,如今领导发布了《AI 2027》的 AI Futures Project,他指责 Anthropic “在拿我们的生命鲁莽赌博”,并补充说,该公司以他人发展更快为由删改信息,而自己“似乎根本没有放慢多少脚步”,这“实在太讽刺了”。
Anthropic 拒绝回答《The Verge》关于这份报告及随之而来的批评的问题,而是让我们参考 McCandlish 的帖子。
这些删改也重新引发了人们对前沿 AI 实验室提高透明度和接受独立监督的呼声,而此前今年年初因一系列涉及失控 AI 智能体的事件,这种呼声已攀升至新高,紧随其后。AI 政策与战略研究所前沿安全研究主任 Brianna Rosen 告诉《The Verge》,令人担忧的是,实际上是公司而非政府在左右 AI 研究自动化的决策。“民主监督要发挥作用,独立评估者需要自由解释他们得出结论的原因,政府需要亲自评估证据,公众也必须信任这一过程,”Rosen 说。“这份报告对证据的披露不够透明。”
要求 AI 实验室提高透明度的压力正在增大
Hobbhahn 呼应了 Rosen 的担忧,表示对这份报告的许多反应源于 Anthropic 公开的安全立场与其行动之间明显的落差。他指出,该公司决定取消部分旨在评估其在安全工作与提升能力之间如何分配算力的评估。METR 表示,该公司称“这是为了暂时让合作聚焦于风险评估,稍后会重新审视算力分配验证”。
对 Hobbhahn 而言,这一事件凸显了让独立安全研究人员更深入地嵌入 AI 实验室的必要性,他们需要对内部系统和证据的重大访问权限。虽然他的组织会从这种安排中受益——Apollo 正在采取措施成为前沿实验室的嵌入式评估方——但呼吁加强对 AI 开发监督的远不止他一人。
其他人则呼吁采取更直接的行动。作为对该报告的直接回应,纽约州众议员 Alex Bores——这位在民主党 AI 议程中发挥关键作用的人物——呼吁国会“禁止 RSI,如果可能的话就今年”。随着民主党蓝色浪潮——其中许多人在竞选期间就反对 AI 公司——即将上任,出台更严格限制的可能性是非常真实的。
而且随着 AI 研究丝毫没有放缓的迹象,这种压力还将进一步加剧。Hobbhahn 说他从报告中还得到了另一个启示:“做好准备迎接疯狂的局面,”他说,“事情会进展得非常快,”很可能快到社会或政治都跟不上。
关注本报道的话题和作者,在你的个性化主页信息流中查看更多类似内容,并接收邮件更新。
- Robert Hart
来源: The Verge · AI · theverge.com
