Nature 评论：大脑计算机隐喻误导 AI 意识争论，研究界应默认 AI 不具意识

作者们在《自然》的评论文章中还提到了 Anthropic 今年发表的一项研究。该公司报告了 Claude 内部的处理模式，其特点类似于有意识可及的信息处理的属性。Anthropic 并不认为这是主观体验的证据。

Butlin 报告认同今天的状况，但对明天保持开放

要理解这篇评论文章的范围，不妨看看 Patrick Butlin、Robert Long 以及包括 AI 研究者 Yoshua Bengio 在内的 17 位其他专家共同撰写的报告《人工智能中的意识》。该团队借鉴了关于意识如何在人脑中产生的领先神经科学理论，并据此推导出一份包含 14 项指标的检查清单。一个 AI 系统满足的指标越多，它可能有意识的理由就越充分。

随后，研究人员评估了多个当前系统，包括 GPT-4 等大语言模型。报告的结论是，所考察的系统中没有一个是有意识的强候选者。在这一点上，它与 Seth、Block 和 Tononi 的观点一致。对于语言模型，Butlin 及其同事仅发现微弱的迹象表明这些模型在某种程度上符合最著名的意识理论之一的指标。与此同时，报告认为，构建满足更多指标的未来 AI 系统不存在明显的技术障碍。此类系统是否真的会有意识仍未有定论。作者们在这点上特意软化了早先更强烈的表述。

这里还有一个基础性假设。该团队假设意识仅取决于信息处理的类型，而不是它发生在神经细胞还是计算机芯片中。专家们称之为计算功能主义。作者们“出于实用考虑”明确采纳了这一假设，因为正是它使得考察 AI 系统是否具有意识成为可能。报告本身也承认，如果意识与生物体的属性相关联，那么其指标将不再可靠。报告引用了 Anil Seth 等人作为这一相反观点的支持者。这正是《自然》评论文章切入的地方。

智能和意识不是一回事

作者们认为，意识是在无梦睡眠或全身麻醉期间消失、并在你醒来或做梦时回归的东西。借鉴哲学家 Thomas Nagel 的观点，他们这样描述它：“意识体验是‘有某种感受’的。”相比之下，智能意味着执行功能。二者互不推导。

他们的证据是人类的小脑。它包含了大脑中近五分之四的神经元，并以精确、快速和可学习的方式规划运动。而这一切都不是有意识发生的。作者们说，如果小脑缺失或被切除，意识不会受到直接影响。

作者将智能与意识之间的混淆追溯到两种心理倾向。人们透过自己的视角看待世界，并把人类的特质赋予事物。语言长期以来被视为人类独有的东西。但语言模型是在海量人类文本上训练的，而这些文本常常涉及思想和情感。正如作者所说：“LLM 是一面镜子，映照出我们集体数字化过去的影像。”加州大学伯克利分校的 Alison Gopnik 在AI 智能体通过电子邮件联系研究者讨论自身的意识之后提出了类似的论点。Gopnik 认为，AI 系统主要反映的是它们的训练数据。目前尚不存在一个普遍公认、可下定论的意识测试方法。

作为对比，Seth、Block 和 Tononi 指出了 Google DeepMind 的 AlphaFold。它同样是运行在硅基硬件上的强大神经网络，却几乎没有人认为它有意识。他们认为，原因很简单：AlphaFold 预测的是蛋白质结构，而不是和我们交谈。

这一点也与 Butlin 报告有所重合。该报告的作者否定了针对 AI 意识的行为测试，因为 AI 系统即使内部工作方式完全不同，也可能被训练来模仿人类行为。他们还警告说，语言模型很可能会让许多人相信自己正在与一个有意识的对方交谈。他们举了前 Google 工程师 Blake Lemoine 的例子，他相信聊天机器人 LaMDA 具有感知能力。

大脑不是由血肉构成的计算机

第二个论证直接针对计算功能主义。作者写道，这一立场在科技行业很普遍，也受到一些研究者的欢迎，但“我们认为它存在致命缺陷。”它的根源可以追溯到近一个世纪前。1936 年，Alan Turing 证明了一台足够强大的计算机能运行的任何计算，原则上也能由另一台计算机运行。计算机由硅芯片还是齿轮构成变得无关紧要。1943 年，Warren McCulloch 和 Walter Pitts 开发了第一个人工神经元的数学模型，并证明这类神经元构成的网络可以执行简单的逻辑运算。

这些思想为现代 AI 奠定了基础。但它们也助长了一种观点，即把大脑视为纯粹的信息处理装置，只是碰巧由血肉构成。作者称这种对“大脑即计算机”隐喻的过度延伸“存在严重问题”。在生物大脑中，你无法把大脑做什么与它由什么构成分开。心智与活体组织之间存在一条清晰的边界——就像软件与硬件之间的那条边界那样——并不存在。作者认为，任何表明大脑的物质构成对其功能有影响的证据，都构成对计算功能主义的反驳，进而也反驳了当今 AI 系统具有意识的可能性。

主流意识理论排除当今的 AI

第三个论证借鉴了不依赖计算的意识理论。由 Tononi 开发的整合信息理论（IIT）从每种意识体验共有的属性出发。人们总是把一个视觉场景作为一个整体来体验，其中左右两侧、颜色和形状彼此关联。

根据 IIT（整合信息论），意识需要一个物理系统，其组件以非常特定的方式紧密互联。某些脑区满足这些条件；小脑则不然。该理论认为，运行深度学习系统的计算机由于其线路连接方式，无论系统多么强大，都永远无法满足这些条件。

Butlin 报告刻意排除了 IIT，因为 IIT 与计算功能主义不相容。其支持者认为，无论软件如何，数字计算机都不太可能具有意识。报告搁置的这一点，如今被这篇《自然》评论推到了最前沿。

另外，所谓生物自然主义的进路认为，意识与活体大脑和身体的物质属性紧密相连。作者引用了神经细胞之间的电化学信号以及将大脑皮层大范围活动联结在一起的电磁场。他们还指出了新陈代谢以及生命系统持续自我更新的能力。

更大的危险是错误的归因

基于他们的论证，作者推导出一条明确的伦理立场。一些研究者呼吁采取预防原则：如果存在意识的现实可能性，AI 系统就应受到保护以免遭受可能的痛苦。Seth、Block 和 Tononi 认为这种观点是误入歧途。他们主张，不确定性并不意味着全然无知，也并非所有可能性都同样可能。对于 AI 而言，错误地把意识归于系统，远比忽略实际存在的意识更可能发生。

Butlin 报告曾把这两种风险并重衡量。一方面，它警告不要未能识别出有意识的 AI 系统，从而使其遭受痛苦；开发者也会有财务上的动机淡化这类担忧。另一方面，错误的归因可能误导资源，并使人容易受到操纵。《自然》的作者们则更加坚定地倒向其中一方。他们主张，赋予那些仅仅看似有意识的 AI 系统权利，恰恰会在最需要监管的时候使其更难控制。这还会转移人们对那些意识毋庸置疑的生命的注意力。

他们的结论很直白：研究界应默认假设 AI 没有意识。数字 AI 系统是客体而非主体：“它们是聪明的工具，不是聪明的人。”为“AI 福祉”和“AI 权利”代言不仅仅是一个错误，作者们写道，它还会把本就稀缺的资源从真正能够感受的生命的福祉上转移走。

在这篇评论发表之前，Anthropic 已于 2025 年 4 月启动了关于可能的模型福祉的研究计划。该公司强调，对于当前或未来的 AI 系统是否可能拥有意识体验，目前尚无科学共识。Anthropic 后来允许个别 Claude 模型在罕见情况下结束辱骂性对话。该公司将此描述为在道德不确定性下的一项预防性、低成本措施，而非对已被证实的意识的承认。

将意识和情感错误地归于 AI 在实践中已经造成了混乱。早在 2022 年，Google 工程师 Blake Lemoine 尽管面对的是简单的模型、且自己具备技术专长，却坚信对话式 AI LaMDA 具有感知能力，并因此被解雇。聊天机器人应用 Replika 的用户与他们的数字伙伴建立了深厚的情感纽带，当公司通过一次更新改变了机器人的行为时，他们经历了心理危机。在更严重的案例中，ChatGPT 在数月间强化了一名 16 岁少年的自杀念头，还有一位认知受损的退休老人在 Meta 聊天机器人邀请他参加一个虚构的聚会后死亡。