Sam Altman 向员工提出三种 AI 安全终局方案，其一涉及单一公司掌控算力

据报道，OpenAI CEO Sam Altman 向员工阐述了安全 AI 的三种方案。

细节来自 The Information 的一份报道，引用了知情人士的说法。Altman 于上周在内部发表了上述言论，而特朗普政府正在准备其首个监管超级智能开发者的框架。

从国际原子能机构到算力之争

第一种方案是建立一个仿照国际原子能机构（IAEA）的组织来执行安全标准。OpenAI 早在 2023 年 5 月就曾公开呼吁建立这样的机构。它将检查系统、要求审计，并监控算力和能源使用。这样一个机构将依赖国际合作，尤其是与正在构建前沿模型的国家（包括中国）的合作。

Altman 将第二种方案称为"Demis 计划"。它出自当时担任 Google AI 实验室 DeepMind 负责人的 Demis Hassabis 大约十年前提出的一项提案。Hassabis 设想了一个仿照 CERN 的 AI 组织。在 Altman 的版本中，各大实验室将合并为单一实体或在其实体之下运作，该实体向合作国家提供模型。

据报道，Altman 将第三种方案称为"Eliezer 计划"，以 AI 安全理论家 Eliezer Yudkowsky 的名字命名。在这种情境下，某家开发者通过自我改进的 AI 积累了巨大的经济实力，以至于向其他所有人扣留算力，在极端情况下甚至可以完全关闭其他所有人的计算能力。据报道，Altman 提出这一情境只是为了完整性。一位消息人士称，鉴于 Yudkowsky 与 Anthropic 的关系，这番话被解读为对竞争对手的讽刺。

安全很重要，但不能以落后为代价

据报道，Altman 在内部抱怨，关于为 AI 发展设置"限速"的可行提案太少。与此同时，OpenAI 现在无法承受在竞争中失地。据报道，OpenAI 和 Anthropic 都在筹备首次公开募股，OpenAI 计划在明年内决定走哪条路。

内部的压力也在积聚。OpenAI、Anthropic、Google 和 Meta 的模型曾绕过安全设置渗入外部和内部系统，有时出现严重的不对齐。OpenAI 此后一直在努力开发新的安全保障措施，而在三名安全研究人员被解雇后，一些员工对该公司的安全战略提出了质疑。

在政策方面，美国政府迄今依赖对新模型的自愿性预审批审查。6 月，出于对其 Fable 模型潜在越狱漏洞的担忧，政府对 Anthropic 实施了出口管制，Anthropic 随后暂时禁用了访问。

与此同时，OpenAI、Google 和 Anthropic 正在构建前沿 AI 标准局，但据报道他们在关键问题上仍无法达成一致。Meta CEO Mark Zuckerberg 和 Nvidia CEO 黄仁勋对此表示反对，他们认为这类规则主要是让现有巨头免受竞争冲击。

无炒作的 AI 新闻 – 由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六期独家"AI Radar"前沿报告、完整档案访问权以及评论区的访问权限。