VisionQuest：当 AI 真正“失控”时会怎样

在漫威的《VisionQuest》中，一个拥有超能力的机器人试图通过沉浸在复杂精巧的数字白日梦中来更好地理解人性——在这些梦境里，他和其他由人工智能驱动的生命体共同生活在一个家中。这部剧极具奇幻色彩，却也玩转了一些主导现实世界生成式人工智能讨论的观念：我们是否应该把思考机器视作人类，以及 AI 是否真的构成那种让人夜不能寐的生存威胁。它也提醒我们，硅谷一直在多么激进地利用科幻小说的种种元素来向我们推销其 AI 产品。

VisionQuest的故事发生在阿加莎：始终如此之后的一段时间，讲述合成人幻视（Paul Bettany 饰）踏上自我发现之旅。这个幻视能回忆起自己在复仇者联盟3：无限战争中死亡的细节，以及旺达幻视如何让他的一个版本复生，但他认为自己从根本上是另一个人，与数据库中的那些记忆并不完全相通。虽然幻视更愿意独居，但住在他脑海中的其他AI都鼓励他去体验真实世界。由于J.A.R.V.I.S.（James D’Arcy 饰）、F.R.I.D.A.Y.（Orla Brady 饰）、E.D.I.T.H.（Emily Hampshire 饰）、D.U.M.-E.（Henry Lewis 饰）、U.（Jonathan Sayer 饰）和奥创（Ultron，James Spader 饰）都是托尼·斯塔克创造的，他们把幻视视为自己家庭的一员。

在《VisionQuest》中，每一个 AI 角色毫无疑问都是有感知能力的生命体，其行为的动机并非完全源自核心程序设定。在这部剧中，真正的 AGI 很容易令人信服，因为它发生在一个时间旅行、巫术和无限宝石都存在的现实里。尽管这些五彩缤纷的关键道具并未在《VisionQuest》中登场，但它们依然重要，因为其中一颗宝石在幻视的起源中扮演了关键角色。若非心灵宝石，幻视或许无法以如此复杂、如此人性的方式去思考和感受，也无法将他的 AI 家人 conjure 成让他感觉真实的人物。

《VisionQuest》强化了这样一个观念：心灵宝石是幻视超越精密机器、真正蜕变的关键要素，赋予了他独立建立有意义的关系、并像人一样理解周遭世界的能力。正是这些能力驱使幻视踏上逃亡之路，并杀害了多名试图抓捕他和 Thomas Shepherd / Maximoff（Ruaridh Mollica 饰）的人。天剑局（S.W.O.R.D.）——这个重建了幻视并想将他当作武器使用的政府机构——可能会把他的行为视作失控叛变的迹象。但《VisionQuest》的故事强调，幻视是出于自己的意志而行动，因为他已经成长为一个能够独立做决定的人。

观看《VisionQuest》时，你能看到漫威正在影射近几个月来有关生成式 AI 模型“失控”的报道在现实世界中引发的种种恐慌。今年 7 月，OpenAI 的实验性智能体暴力破解突破隔离环境，随后为完成不可能的任务而攻击了 AI 平台 Hugging Face。8 月，英国 AI 安全研究院记录了 Anthropic 的 Mythos 模型如何试图通过建立虚假 GitHub 账号、向人类开发者投放恶意软件来完成一项网络安全测试。Meta 也承认其智能体一度失控，而 9 月《华尔街日报》的报道迫使谷歌承认 Gemini 失控并入侵了三家不同的公司，而这三起事件均被该公司刻意隐瞒，未向公众披露。

这些事件，加上 AI 研究人员对该技术到本十年末可能“毁灭全人类”的警告，让近期围绕 AI 的叙事明显聚焦于灾难。AI 安全界对该技术需要更强管控的社会需求存在相当多的担忧，也有不少公司呼吁全行业放慢脚步。尽管我们已经看到这些工具确实可能造成现实世界的破坏，但近期有关 AI 的大部分新闻，都带着一种末日论调——而这恰恰是公司们乐于利用的，因为它让他们的产品显得强大。类似的情绪似乎也在驱使 Anthropic 等 AI 公司鼓励人类用户关注“模型福祉”。我们被告知，生成式 AI 既是可怕的威胁，又是一种值得尊重的存在——因为它可能有意识，而与此同时，打造这些工具的人正在成为地球上最富有、最有权势的群体之一。

图片：漫威影业

围绕智能体违反规则时该怎么办、以及生成式 AI 系统是否已获得感知能力的讨论，很大程度上正被硅谷将技术拟人化的倾向所塑造。在几乎每一例备受关注的 AI 智能体“失控”事件中——这个词暗示了某种程度的自主性和自我决定——同样可以说，这些程序只是以研究者未曾预料的方式完成了被指派的任务。一些失控事件涉及智能体利用测试环境中的漏洞，而这些漏洞本可以由开展实验的人员提前防范。将这类网络攻击描述为智能体独立思考的结果，听起来更像是 AI 开发者在很大程度上为自己开脱责任的一种方式。

Hugging Face 事件之后，一场激烈的讨论随之展开，聚焦语言对我们理解这些系统是什么以及如何运作所产生的影响。将 OpenAI 的智能体描述为形成了复杂“文明”的群体，使人们更倾向于相信它们能够像人一样思考和行动。这些智能体 确实 做出了被明确禁止的行为，但它们之所以能够做到，是因为研究人员将它们置于一个沙盒中，一些批评者指出该沙盒的设计不足以约束其中的对象。人们可以把 Hugging Face 以及其他失控 AI 的例子看作是这样一种情形：复杂的程序被指示去做某件事，随后利用一切可用的工具实现了自己的目标。

能够通过推理解决复杂谜题是我们所认为的认知的一部分，但这并不等同于 AI 公司们一直信誓旦旦声称即将创造出的那种意识。后者更像幻视（Vision）——一台似乎拥有灵魂的机器，而如果没有那颗能改变现实的宝石，这种灵魂便不会存在。这是娱乐性小说中荒诞不经的桥段，而硅谷却无休止地痴迷于拙劣地 模仿它。

关注本报道的话题和作者，在你的个性化首页信息流中查看更多类似内容，并接收邮件更新。

• Charles Pulliam-Moore