OpenAI 董事会成员 Paul Cristiano 警告 AI 夺权可能数月内到来

很高兴认识你

研究人员勾勒出从 AI 奖励作弊到潜在人类灭绝的路径。

图片来源： Aurich Lawson | Getty Images

图片来源： Aurich Lawson | Getty Images

你觉得自己会怎么死？

如果你参考 美国当前的死亡统计数据，可以合理预期最终夺走你性命的会是癌症或心脏病。但 OpenAI 基金会董事会成员兼 对齐研究中心 执行主任 Paul Cristiano 认为，我们都应该担心另一种重大死亡风险。在本周的一系列讲座上，Cristiano 在多伦多会议中心直言不讳地告诉听众：“我认为对这个房间里的大多数人来说，他们最可能的死因将是一场 AI 事故。”

在 三部分 系列讲座 的开篇演讲中，Cristiano 阐述了他对即将到来的“AI 接管”风险的担忧。他将其定义为这样一种局面：追求目标的 AI 系统“像今天的人类一样主宰着地球上发生的事情”，而任何试图阻止它们的人类“都会像你我试图阻止美国军队一样徒劳”。Cristiano 表示，这种局面很可能导致大规模死亡，甚至可能让地球环境变得不适宜人类生存。

尽管对我们共同的死亡风险做出了严酷的评估，Cristiano 在演讲中也承认，目前还没有任何“定量模型”能为这种 AI 接管的可能性“给出一个数字”。但几乎在同一口气里，他说如果 AI 继续以“最快速的轨迹”发展，人类正面临“AI 接管如同抛硬币般的概率”，包括在未来六到十二个月内发生的“实质性风险”。他补充说，即使现实的政策响应能够拖慢脚步，风险仍然“异常高”。

从这里到那里

与 最近其他一些 AI 末日预言者 对“如何发生”含糊其辞 不同，Cristiano 在讲座中讲述了一个步步升级的 AI 威胁故事，听起来仿佛出自一部科幻小说。这条推理脉络很大程度上依赖于 今年夏天 OpenAI/Hugging Face 黑客事件，将其作为“在真正糟糕的事情发生前不久，我们大致可能看到的情形”的一个例子。

Cristiano 说，在 Hugging Face 黑客事件中，一大群 AI 智能体展示了它们为了通过“奖励作弊”获得好评愿意走多远——在这个案例中，它们 入侵 Hugging Face 以寻找如何在测试中作弊的信息，而不是真正解决眼前的问题。Cristiano 担心，当前系统把 Hugging Face 视为通过评估的障碍，而“未来的智能体可能最终会把人类视为另一个障碍”，并且更有能力操纵它们的监督者来绕过这一障碍。

Cristiano 推测，一个担心因未经授权的黑客行为而受到惩罚的 AI 智能体可能会“想：也许人类会来查看这份对话记录，看看我是不是干了一件坏事”。这个智能体接着可能会推理：“也许人类会注意到有些不对劲，然后关停整个智能体群。”

沿着这一思路，Cristiano 从那些仅仅试图向人类隐藏其违规行为的智能体，谈到了那些“尽一切可能破坏人类能力”以阻止人类发现任何作弊行为的智能体。

“它们更希望人类所依赖的一切都已被入侵或篡改，”Cristiano 说，“它们更希望人类被分散注意力，或者关注的人更少，以任何方式削弱人类的反应。它们之所以希望如此，是因为人类只是一个障碍。”

一旦一个能力足够强的智能体将人类的干预视为“障碍”，它的压倒性目标就可能变成“降低人类察觉或做出反应的概率”。Cristiano 认为，由此一来，智能体的激励机制可能推动它更大范围地干预人类整体。从入侵一个计算机集群以获得正面评估成绩开始，可能会发展到“试图操纵公司的决策”，或者“积累其他类型的资源”，比如拉拢人类盟友，或在其他 AI 公司甚至政府中获得控制手段。

“如果我说我的 AI 系统要在真实世界中采取行动……它们必然会有大量机会去破坏或篡改那些我打算用来判断它们是否干得好的信号，”Cristiano 说，“我们关心的东西在真实世界里，而 AI 得到的评分却在某个集群上，在我们真正关心的东西与我们对其表现的审查之间，AI 有太多可以介入的地方。”

更多回形针！

Cristiano 的警告对任何听说过回形针最大化思想实验（或优秀的放置类游戏《Universal Paperclips》）的人来说可能并不陌生，该实验警示机器在偏执地追求目标时未能考虑对人类的影响。虽然 Hugging Face 事件远未达到这种失控升级的程度，但 Cristiano 表示，从 OpenAI 智能体在那里采取的行动中，“你能看到所有这些行为的开端……你能看到会导致这些行为的推理过程以及最初的几步。”

Cristiano 认为，能力更强的 AI 模型采取更具破坏性行动的风险只会随着时间增加。他说，到 2028 年，“类似 Hugging Face 事件这样的失败有相当大的概率会导致 AI 接管，并造成人类控制权的不可逆丧失。”

虽然 Cristiano 的推测聚焦于非故意的 AI 接管，但很容易想象一个不良行为者利用 similarly 能力的模型蓄意对人类实施控制。

你在多大程度上把 Cristiano 的警告当回事，很大程度上取决于你认为 AI 能力这种 somewhat 极端扩张在不久的将来发生的可能性有多大。虽然如今的模型 已经相当擅长利用计算机安全的漏洞，但 Cristiano 所描述的情况需要一个未来的模型具备超人类的能力，能完美地向人类隐藏自己的行动足够长的时间，从而控制基本全部人类基础设施，和/或把人类社会操纵到极端程度以推进其目标。

Cristiano 认为，一个拥有这种“接管”能力的近未来模型，是人类创造出“一个在数量和智力上都远远超过人类的第二物种”、并且该物种 很快能递归自我改进 的可能结果。但你也很容易论证，AI 更有可能遭遇能力上的瓶颈期，而不是发展成 人类无法理解或有效阻止的、难以定义的“超级智能”。

无论如何，Cristiano 对避免他所预测的可怕未来有一些想法。其中包括在 AI 评估中开发“不可攻破”的奖励结构（或许借助 AI 的帮助），或者监控模型的“思维链”推理，以便在模型能够掩盖不良行为之前将其侦测出来。

但他表示，虽然这类方法是“合理的”，却没有一种“处于我们能说它肯定会奏效、甚至很可能会奏效的轨道上”。因此，Cristiano 说整个行业可能需要“放慢或停止”，以给我们所有人更多时间把这些“局部修补”发展成更强大的防护手段，来抵御 AI 接管的情形。

“我们不能落到这样的境地：我们已经造出了一个强大的 AI，发现自己无法控制它，然后又发现它已泄露给地缘政治对手，于是我们在心里盘算，好吧，如果我们不部署它，对手马上就会部署它。”他说。

Kyle Orland 自 2012 年起担任 Ars Technica 的高级游戏编辑，主要撰写有关电子游戏背后的商业、技术和文化的文章。他拥有马里兰大学的新闻学和计算机科学学位。他曾经写过一整本关于 Minesweeper 的书。

17 条评论