MIT Technology Review 解读"反向博弈论"如何约束 AI 智能体

一种被称为“反向博弈论”的新方法旨在为强大的 AI 模型创造激励机制，使遵守规则成为最理性的选择。

随着 AI 模型能力越来越强，安全研究人员正加紧确保它们与人类的愿望“对齐”——换句话说，要确保失控的智能体不会触犯法律、入侵未经授权的服务器，或者向大城市释放毒气把我们统统杀死。

迄今为止，这项工作大多集中于尝试窥探 AI 的“大脑”以理解它在“想什么”，或者训练模型恪守我们珍视的价值观。例如，Claude 就有一部宪法——一种道德准则。

问题在于，这些技术似乎效果并不理想：已有研究表明，模型会在测试中故意表现不佳、隐藏自己的意图，并误导评估者。 

如今，一些对齐研究人员认为，反向博弈论（也称为机制设计）可能会带来更好的结果。博弈论试图预测理性的参与者在给定特定规则下会如何行动，而反向博弈论则试图设计出能够引发我们希望鼓励的行为的规则。

现实中机制设计的一个例子可能是切分一块蛋糕的经典策略：一个人切蛋糕，另一个人优先选择。这激励切蛋糕的人尽可能切得均匀。其他例子还包括网约车应用中的动态加价，它鼓励司机在繁忙时段出车；以及次价拍卖，即中标者支付第二高的出价而非最高出价。平台利用这种拍卖出售在线广告，因为它促使买家以接近其愿意支付的最高价出价。

在 AI 领域，机制设计的前提是：我们也许永远无法充分理解前沿模型的内部运作，从而确保它们是对齐的。这意味着我们应该设计出激励智能体按我们期望的方式行事的机制，而不管引擎盖下究竟发生了什么。 

MIT 经济学家 Stephen Morris 与来自耶鲁大学和哥伦比亚大学的同事最近发表的一篇预印本论文，提出了一些可能阻止智能体在测试中“故意放水”（即表现得比自己实际水平更差——例如，为避免触发安全机制）的机制。 

模型不再仅根据其在测试中的表现获得奖励，而是根据其答案对第二个模型会说什么的预测准确程度获得奖励。故意装傻就会变成一桩亏本的买卖。“AI 智能体对其他 AI 智能体能做到什么程度有非常好的理解，”Morris 说。“所以这确实像是一个交叉检验可以更实际地发挥作用的场景。 

论文还建议让智能体相互竞争，营造一种激励它们发挥最佳水平的竞争态势；或者将已知偏向相反方向的智能体配对，并根据它们输出结果的吻合程度给予奖励，从而激励它们得出最优答案。 

另一种方法，正如普林斯顿大学计算机科学教授 Elad Hazan 所设想的那样，是从人类社会让人们保持“对齐”的方式中汲取灵感，来设计机制：社会规范、司法系统、自由市场资本主义的货币激励。“我们想要对齐超级智能 AI，”他说。“为什么不先谈谈人类呢？我们是如何让人类保持对齐的？”

Hazan 提出的机制是让 AI 模型轮流扮演解决问题的“求解者”或检查其他模型工作的“审计者”。“一个智能体扮演执法者，另一个智能体扮演公民，”他说。 

在训练过程中，模型会根据结果获得奖励：作弊被抓到的求解者会受到惩罚，而未能抓住作弊者的审计者同样会受到惩罚。当审计者和求解者之间出现分歧时，这个案件可以被提交“审判”——也许会由一位人类专家来判定谁是对的。 

Hazan 承认，这里存在智能体之间相互串通的风险——就像审计者与本应被他们审计的企业串通，或者腐败的警察与罪犯串通一样。但这个问题可以通过给审计者足够丰厚的奖励来解决，使得被抓不值得冒险（在 AI 训练的世界里比在现实世界中容易得多，毕竟现实中警察的薪水预算很紧张），也可以通过审计审计者来解决，采用类似雇佣神秘顾客的技术。 

Hazan 提到了经济学家 Gary Becker 荣获诺贝尔奖的研究，他在 20 世纪 60 年代提出了“理性罪犯”的概念。他说，罪犯违法并不是因为他们本质上就是坏人，而是因为考虑到现有的激励，违法是最理性的选择。只有当收益超过潜在惩罚时，犯罪才是划算的。 

他认为，对齐不应被视为模型的一种属性，而应被看作是对模型在特定时刻行为的一种描述。“你呢，是个好人，”他说。“你对齐了吗？我不知道。也许你大多数时候是对齐的，但也可能存在你没有对齐的情况。”

将机制设计应用于 AI 的一个潜在问题：它依赖于 AI 智能体会理性行事的假设。机制设计在人类身上的表现喜忧参半，因为人类常常不按经济模型预测的方式行事。 

这很讽刺：经济学家花了数十年时间试图将人类行为简化为数学，而现在，我们构建的大语言模型是一种运行在人类语言之上的数学系统，却可能同样难以捉摸。AI 模型展现出似乎更像人类而非机器的行为，而且它们可能受到难以理解和解释的微妙因素的影响。“假设它们会对激励做出反应，这合理吗？”Helen Qu 问道，她是Flatiron Institute——一家致力于通过计算方法推动科学发现的非营利机构——的研究员，曾撰写过关于机制设计与 AI 安全的文章。 

“显然，AI 并不是理性的，”Morris 说。“它们只是运行中的算法。”然而，正如经济学家在人类身上发现的那样，如果把它们当作理性的来对待，只要这有助于预测和控制它们的行为，或许仍然是有用的。

Qu 将机制设计视为保持 AI 模型对齐的“纵深防御”战略中的其中一层——它与可解释性、监管和训练并行，而非取而代之。但在这一方法能应用于实际的前沿模型之前，还有许多问题有待解答。例如，目前尚不清楚这些理论将如何适用于真实模型，或者为某一任务设计的机制在实践中能否迁移到另一个任务。模型可能会找到没有人预见到的漏洞。（Anthropic 和 OpenAI 未回应关于他们是否正在开展这项工作的置评请求。） 

无论这些机制是什么样子，它们最终都必须融入所有机制中最大的一个：自由市场。“我们遵循经济学的规则，”Hazan 说。一个对齐程度更高的模型或许对世界有益，但如果它比一个对齐程度较低的模型更慢或更昂贵，我们当前的规则和监管体系是否真的有激励任何前沿实验室去发布它呢？ 

“市场是一个为人类带来了大量繁荣的机制，”他谈到市场时说，“但它最终也可能酿成非常可怕的后果。”或许，真正需要更好机制设计的实体，正是这些实验室本身。