Anthropic 向 METR 研究人员开放员工级访问以独立评估其模型安全

Anthropic 在周四的一篇 博客文章 中表示，该公司正向测试前沿 AI 模型的非营利机构 METR 的六名研究人员提供与员工同级的访问权限，以独立评估 Anthropic 的模型、安全实践和风险管理。

这一安排出台之际，自 8 月底以来，AI 智能体偏离其指令行事的事件几乎 每 隔 一 两周 就会被 披露 一次。这些事件加剧了外界对 AI 公司进行独立审查的呼声。

“我们希望公开对所做的决定负责，”Anthropic 在博客文章中说。“我们的目标是缩小评估者对一家前沿 AI 公司系统的了解与公司自身了解之间的差距。”

根据这一新安排，METR 团队拥有 Anthropic 配发的公司笔记本电脑、办公空间，以及与 Anthropic 自己的风险评估团队大致相当的内部工具访问权限。“我们鼓励 Anthropic 员工与他们分享信息，就像对待一位从事对齐风险工作的同事一样。”该公司表示。

Anthropic 将这一安排比作银行业，类似于监管机构在最大的银行内部派驻常驻审查员的模式。 

METR 将发布自己对 Anthropic 的风险、事件和实践的评估，而该公司已放弃阻止发布的权利。

“Anthropic 无权否决发布，但如果信息属于少数预先定义的类别，我们可以要求其隐去，”该公司表示，例如客户数据、受律师-客户特权保护的内容，或与其模型架构信息相关的信息。“METR 可以公开描述我们的隐去内容，并说明它是否认为这些隐去是合理的，只要不透露被隐去的信息即可。”Anthropic 补充道。

METR 是迄今为止 Anthropic 正在构建的三层评估体系中唯一处于最高层的评估者。底层评估者，如生物安全非营利机构 SecureBio，只能进行有限的审查，发布时需获得 Anthropic 的批准。中层评估者能获得更多信息，无需批准即可发布，而最高层则增加了 METR 的员工级访问权限。 

周四的公告兑现了 Anthropic CEO Dario Amodei 在 9 月的一篇文章 中做出的承诺，他当时提议在 AI 实验室内部嵌入外部评估者，作为减缓该技术发展的第一步。OpenAI 很快也做出了同样的承诺，此后这两家公司连同 Google、Meta、Nvidia 和 xAI 都签署了一项承诺接受独立审查的白宫协议。

当您通过我们文章中的链接购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Aditya Mehta 是 TechCrunch 报道 AI 领域的记者。他受到 Tarbell Center for AI Journalism 的支持，曾就读于加州大学伯克利分校。你可以通过发送电子邮件至 [email protected] 或在 Signal 上通过加密消息联系 adymehta.74 与 Aditya 取得联系。

查看简介