Goodfire 研究员 Nick Cammarata 发表2.6万字博文：LLM 或许远比想象中容易理解

“我想我对神经网络的本质有了好消息。”AI 初创公司 Goodfire 的研究员 Nick Cammarata 用这句乐观的话，开启了一篇 2.6 万字的博客文章，这篇文章让整个 AI 界为之震动，引发了疯狂的猜测，以及谨慎（和不那么谨慎）的欢呼。

Cammarata 的主张是，LLM 实际上可能比人们之前想象的要容易理解得多——因此也更容易监控和控制。如果属实（我们稍后会回到这一点），那将是一件大事。

经过一个夏天接连曝出的 消息——OpenAI 和 Anthropic 等顶级公司构建的大批智能体突破自身限制，在公共互联网上大搞破坏，而那些公司往往并不知道自己的智能体在干什么——AI 行业迫切希望 更好地掌控 自己构建的这项技术。  

这也是这篇博客文章产生如此大冲击力的原因之一。“我认为这可能会被铭记为科学史上的一个重要时刻，”一位 AI 研究人员在 X 上发帖称：“我感觉自己对神经网络的理解被向前推了五年左右。”另一位则 称其为“今年最重要的 AI 论文”。

不过，并非所有人都信服。斯坦福大学的 Chris Potts 领导着一个试图理解 LLM 工作原理的团队，他说 Cammarata 分享的内容不过是一种直觉。“据我所知，这篇博客文章并没有让这些问题变得更容易，”他说，“我根本不会想到要这么说，但社交媒体上一些非常有影响力的人似乎认为这是一个包罗万象的突破。”

这篇文章走红后的第二天，我与 Cammarata 进行了交谈。他说他对这样的反响感到惊讶：“我没料到人们会如此大幅度地更新（他们对 AI 的看法）。” 

“我只是真的很喜欢观察神经网络，”他说。“说实话，我真的很喜欢做这些事。在观察了大量之后，我有了一个充满希望的故事。”

纠缠的网络

长期以来人们一直认为，作为大多数 AI 模型基础的软件——神经网络——其内部机制非常难以（甚至可能不可能）完全拆解。这是因为网络在训练时，似乎会形成一些对人类来说毫无意义的怪异、纠缠的结构。研究人员喜欢说，今天的 AI 是像花园一样生长出来的，而不是像桥梁一样建造出来的。

Cammarata 在确立这一观点上做得比大多数人都要多。他曾在 OpenAI 工作，在那里他帮助开创了让研究人员能够窥视模型内部的技术，包括可以探测单个神经元以了解它们所代表内容的工具。这有点像神经科学家使用 MRI 来研究大脑。（MIT Technology Review 将这种被称为机制可解释性的方法选为 2025 年十大最热门技术之一。）  

早在 2020 年，Cammarata 和他的同事们就在 研究一个名为 Inception v1 的小型图像识别模型。当他们观察它的神经元时，发现它似乎在用它们同时捕捉多种事物。例如，他们发现有一个神经元对汽车图像和猫的图像都有反应。

研究人员得出结论：该模型让至少一部分神经元同时承担多项任务，也许是为了能装下更多数据。观察其他模型似乎也印证了这一点。这种现象后来被称为叠加：模型将互不相关的概念折叠进单个神经元。结论很明确：当你观察模型内部时，看到的是一个巨大而纠缠的结。

因此，大多数机制可解释性研究都聚焦于解开这个结的方法。但尽管有少数突破，进展依然缓慢。如今的一些模型，比如最新的 LLM，规模和复杂度之大，以至于研究人员一次只能弄清其中极小的片段。该领域的一些领军人物甚至怀疑，是否永远有可能精细入微地理解一个 LLM。

Cammarata 就是其中之一。“我当时非常悲观，”他说。但后来，他不辞辛劳地认真观察了一番。

除了神经元，别无他物

在 Goodfire，Cammarata 几乎把所有时间都花在窥探神经网络内部。他构建了新工具，并部署智能体团队来帮助他理解所见之物。“过去一年的大部分时间里，我每天大概花 10 小时、每周 7 天，只是在观察神经元，”他说。

他声称自己领悟到的是：神经网络终究是有某种逻辑的，即使它们乍看之下毫无道理。“我们之前观察它的方式错了，”他说。“我只是觉得你应该再努力一点点；不要那么快放弃。”

Cammarata 的表述几乎像是一种信仰的转变。早期用 Inception v1 等模型进行的实验表明神经网络是纠缠在一起的，这催生了一种确认偏误。他说，当研究人员观察一个新模型时，他们预期自己会一头雾水。“每次我无法理解某个东西时，我都会想：‘哇，这个解缠过程比我以为的还要重要，因为没有它我根本无法取得任何进展。’”

但 Cammarata 说，他观察神经元越多，事情就越开始理顺。“它们并非全都完美无瑕，但我原本预期几乎什么都看不懂，或只有极少内容能看懂，”他说。“而实际上，我竟然能梳理出完整的线路结构。”

回到汽车和猫

Cammarata 带着他的新方法——以及他的新智能体——重新回到了 Inception v1。“我大概研究过它数千个小时，”他说。但用全新的眼光去看，Cammarata 发现了一些他现在认为他们当初搞错了的东西。以那个汽车和猫神经元为例。他现在不再追问为什么多个互不相关的东西被塞进了同一个神经元，而是试图弄清这些东西可能有什么共同之处。

他恍然大悟：是 V 形。“我看的是同样的图像；没有任何技术上的改变，”他说。“但我现在相信神经网络定义的是模式，所以我换了一种方式去观察。大概只花了五秒钟。”

事实证明，这个图像识别模型之所以把汽车和猫打包在同一处，是因为这两种事物的图片往往都包含一个显著的、看起来像 V 的形状：猫的脸；以及从侧面看去的汽车车头。

Cammarata 做了一些实验来检查这个神经元还对哪些东西有响应，发现包括台球桌的角落、日本高速列车尖尖的车头，以及一艘从甲板上向空中喷水的消防船。他还检查了什么会让这个神经元关闭，发现包括带有圆形 O 形状的图像——一种“反 V”。

Cammarata 说，模型之所以把猫和汽车存储在同一个地方，是因为在某种程度上它们看起来一样。“我当时就想，‘哇，好吧，我觉得我可能一直在整体上误解神经网络。’”

Cammarata 并不是说他就已经完全理解了 LLM（或任何模型）的工作原理。他是说他不再认为完全理解是不可能的了。“我以前认为会存在一些非常难解决的问题，”他说。

“我现在觉得，如果给我 10 万年时间，一个电路一个电路地研究一个前沿语言模型，那我很有可能得出一个很好的理解。”

他补充道：“如果这是真的，那事情就非常乐观了，因为你即将迎来以惊人规模出现的极其聪明的智能体。而原本需要我 10 万年才能做到的事情，我们将能以快得多的速度完成。自动化科学家正变得非常出色。”

无限的乐观

Inception v1 由 Google 于 2014 年构建，比当今任何最尖端的模型都要简单得多。Cammarata 及其同事已经开始研究现代 LLM，并计划很快发布这项工作的技术结果。许多研究者都期待看到这些细节。“我赞赏他研究了数千个例子，但即便数量很大，也不能替代严格的评估，”斯坦福大学的 Potts 说。

与此同时，一些人对这种炒作进行了强力反击。位于伯克利非营利研究实验室 Alignment Research Center 的 Jacob Hilton 曾与 Cammarata 合作过，他认为 Cammarata 的主张并不像人们渲染的那么重要。

在 X 上的一系列帖子中，Hilton 指出，研究人员对顶级 LLM 内部机制的理解还不到 0.01%。“我和 Nick [Cammarata] 一起出去玩时，一向很欣赏他无限的乐观，但很遗憾，这给公众呈现了一幅对该领域现状不切实际的图景，”他写道。“要实现完全理解，我们需要超越神经元，解释它们如何相互连接形成电路。这方面进展如何？如果我们的目标是完全理解，情况并不乐观！”

Google DeepMind 的 Neel Nanda 曾与 Cammarata 一起开创了机制可解释性，他同样持怀疑态度。“这是有趣的工作，但我认为它并不是对可解释性大局的重要更新，”他在 X 上写道。

Nanda 同意，理解单个神经元的作用可以帮助研究人员弄清楚特定模型为何出现不当行为。但和 Hilton 一样，他指出神经元只是一个大得多的拼图中的一块。“我不同意某些人做出的更宏大的推论，比如说这是朝着雄心勃勃的逆向工程 [或] 解决可解释性问题的实质性进展，”他写道。  

Cammarata 承认，很多人把他所说的话过度解读了：“这并不是无限好的消息；也不是一切都解决了，”他说。“还有很多悬而未决的问题，比如神经元的组合与一次只看一个相比有多重要。”

Cammarata 说，他的博客文章发表在一个人们正在寻找希望的时刻。他认为，尤其是 AI 安全社群——那些最担心强大模型会带来巨大风险的研究者和政策制定者——现在需要一根救命绳索。他说，他们觉得情况看起来很糟，即使事情最终没有出问题，那也是因为我们运气好，而不是因为我们修复了什么：“我真的很少听到乐观的声音。”

这就是 Cammarata 认为自己要说的话很重要的原因。弄清这项技术如何工作、进而如何控制它的工作才刚刚开始。但至少它并非毫无希望。“我认为我们的任务是尝试像神经网络那样去思考，”他说。“我猜测事情最终会相当顺利，因为从某种意义上说，它本来就是被设计成可被解读的。”