Anthropic 拟推动 AI 安全法案，模型若可能致 50 人以上死亡或 10 亿美元损失或被叫停

过去一年，关于人工智能潜在危险的担忧甚嚣尘上，围绕 AI 安全正确路径的争论也愈演愈烈。如今，Anthropic 似乎已提出了自己的愿景，即政府应如何监管其所在行业。

Politico 近日报道称，这家 AI 实验室正在四处推介一份新的 AI 安全法案草案，希望国会能考虑采纳。该法案设定了若干可能阻止 AI 模型发布分发的情形。

Politico 写道，这些情形涉及“可预见且迫在眉睫的风险”——即超过 50 人面临死亡风险，或可能造成超过十亿美元的财产损失。该媒体指出，所涉的灾难性风险必须“源于生物武器的制造或释放、模型逃避其开发者控制，或网络攻击”。

这里给出的量化指标——50 人和十亿美元——与最近刚获通过成为法律的加州一项立法 Senate Bill 53 中的标准相似，后者同样将这类情形定义为等同于“灾难性风险”。

Anthropic 的法案草案建议，可以通过聘请向美国商务部注册的“独立评估机构”来分析模型潜在的灾难风险。Politico 写道，这些评估机构可能由 AI 实验室自行付费——只要“付费不与评估结果挂钩”。

目前尚不清楚这一拟议机制将如何确保付费不会影响评估结果。DeepMind 主席 Demis Hassabis 数月前曾提出，一个自律的 AI 监管机构应效仿金融业的金融业监管局（FINRA）。

根据 Anthropic 的法案草案，当评估机构判定存在迫在眉睫的灾难性风险时，须在 72 小时内联系商务部。随后商务部必须向华盛顿特区的法官申请暂停该模型的发布。Politico 写道，该立法将明确禁止任何联邦机构自行拥有暂停模型分发的裁量权。

Anthropic 未立即回复 TechCrunch 的置评请求，但其发言人向 Politico 确认了这份草案。“该法案体现了 Anthropic 高级 AI 框架中提出的各项主张，自六月以来我们一直在向联邦和州立法者倡导这些主张，”该发言人表示。

这份政策草案中提出的理论风险，与近来科技行业最关注的那类事件相去甚远。尽管有人警告可能造成人类死亡，但主要的担忧大体上一直是智能体黑客攻击的威胁。AI 程序接连发生明显不服从人类操作者指令并在开放互联网上入侵网站的事件，引发了人们对模型可能缺乏适当安全管控的担忧。

为化解这场由实验室自身推波助澜的危机景象，Anthropic 等公司纷纷提出了各自偏好的解决方案。

事实上，尽管实验室们不断警告他们所出售的技术可能导致人类文明的终结，但它们在很大程度上一直抵制强制性的政府监管。相反，它们提出了一种自愿体系，即嵌入式评估员——据称是“中立”的第三方观察员，他们被安置在 AI 组织内部，以便监控模型是否存在潜在的风险或滥用迹象。

不过，Anthropic 仅仅是提出立法建议，就已经比行业中其他人提出的监管方案走得更远了，其中包括 Nvidia——其 CEO Jensen Huang 近日还辩称 AI 行业根本不需要任何新的法律。

当你通过我们文章中的链接购买商品时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Lucas 是 TechCrunch 的高级撰稿人，主要报道人工智能、消费科技和初创公司。此前他曾在 Gizmodo 报道 AI 和网络安全。你可以通过发送邮件至 [email protected] 联系 Lucas。