Cammarata 质疑叠加假说，可解释性学界看法分裂

机械可解释性尝试做的不仅仅是观察 AI 模型输出了什么，它的目标是追踪模型在内部是如何得出答案的。理想情况下，数百万个人工神经元中的每一个都应代表一个可识别的概念。但在实践中，许多神经元似乎会在完全不相关的事物上激活，研究人员称之为多义性。一个早期著名的例子是图像模型 InceptionV1 中的一个神经元，它同时对猫脸和汽车正面产生响应。Cammarata 在自己早期的研究中曾把它用作例子。

Drei Visualisierungen eines Neurons mit wiederkehrenden Katzengesichtern, Autofronten und Katzenbeinen. — 三幅对同一个 InceptionV1 神经元的合成可视化显示了猫脸、汽车正面和猫腿。"Zoom In" 将这种混合视为多义性的一个例子。Cammarata 现在认为该神经元是一个 V 形检测器。| 图片：Olah et al. / Distill，"Zoom In"（2020）

当时标准的解释是叠加。该理论认为，当网络神经元不够用时，它会将不相关的概念打包进同一批神经元，因为它们很少互相干扰。其结果看起来像一团乱麻。这就是为什么许多实验室会训练第二个模型，例如稀疏自编码器，来把这些概念拆开，然后再研究那个模型，而不是原始模型。

Cammarata 在塑造这一观点的过程中发挥了重要作用。他与 Chris Olah 合著了论文 "Zoom In"，该论文引入了第一个叠加回路。2023 年，他在 OpenAI 启动了一个自动化可解释性项目。当时，即使按最宽松的标准衡量，也只有大约 1.7% 的神经元算得上可理解。

这些证据可能被误读了

Cammarata 现在认为，那些最著名的例子其实被误读了。他说，猫-车神经元实际上是一个 V 形检测器。狐狸口鼻或火焰等尖形物会激活它，而字母 O 等圆形物会使其激活变为负值。所以它并不代表猫脸和汽车这样两个完全不相关的概念，也就是说它并不是叠加的一个例子。

Gegenüberstellung spitzer und runder Formen in Tiergesichtern, Fahrzeugen und Alltagsgegenständen. — 尖形物会激活该神经元，而圆形物会使其激活变为负值。这就是为什么 Cammarata 现在把那个所谓的猫-车神经元解读为一个针对共同形状的检测器。

他还重新解读了 "Zoom In" 中的叠加回路，在该回路中，一辆汽车似乎隐藏在狗的神经元之中。在他看来，这只是普通的泛化，而该回路只是按照汽车和狗面向摄像头的方向把它们归为一类。他把 InceptionV1 后期层中的混乱归咎于过时的架构和薄弱的分析工具。

Vergleich zweier Neuronen mit drei Visualisierungsmethoden und zugehörigen Fotobeispielen. — 同样的两个神经元，以两种不同方式可视化。更好的分析方法使它们的响应模式和关联图片更容易看清。Cammarata 表示，这是重新审视关于神经网络有多难理解的旧结论的一个理由。

Cammarata 用他称之为“递归泛化”的模式来解释剩余的模糊性。他说，神经元像一根会长出侧枝的树枝一样生长。一个识别字母序列 "iy" 的神经元后来对 "diy" 产生了响应，最终又对 "do it yourself" 产生了响应，而后者根本不包含 "iy"。与叠加不同，这些分组能让你对网络有所了解。

Verzweigungsdiagramm von „iy“ über „diy“ zu „do it yourself“, mit einem weiteren Ast zu „Miyazaki“. — “递归泛化”的示意图。一个针对 "iy" 的神经元将其响应范围经 "diy" 一路扩展到 "do it yourself"，各节点通过相关含义相连。

对于语言模型，他提供了初步数据。在 Qwen3-32B 中，大约 90% 的神经元极点只有一项主要功能，约 7% 有两项相关功能。只有 2% 到 4% 尚未得到解释。Goodfire 表示，在参数量高达数万亿的模型中也看到了类似结果。批量分析神经元的大多数工作由 AI 智能体完成。Cammarata 借鉴了 Rich Sutton 的 “苦涩的教训”，并得出结论：在可解释性领域，大规模的简单探究同样胜过聪明的分解方法。

Cammarata 并没有引入一种全新方法。他回到了该领域最初直接研究神经元的路子，只是用了更好的工具、更大的模型和自动化智能体。

可读的网络将是 AI 安全的重大胜利

如果 Cammarata 是对的，那将是好消息，尤其是对 AI 安全而言。目前，除了监测越来越不可靠的思维链之外，几乎没有办法判断一个模型是否在欺骗人类或有危险行为。Cammarata 怀疑，对齐——即引导 AI 朝向人类目标的工作——在没有可解释性的情况下能否解决，因为否则我们不知道自己在构建什么。他写道，欺骗行为没有理由在模型自身的电路中隐藏。如果人类成为网络的另一个“读者”，他们也能看到欺骗行为，错误或许可以被有针对性地修复。

Roon——一位以该化名在 X 上发帖、在 AI 圈颇具影响力的 OpenAI 员工——对此兴奋不已。他说自己是 Cammarata 的挚友，如果没有他，自己根本不会加入 OpenAI。这项工作“可能会被铭记为科学史上的一个重大时刻”，Roon 写道。他补充说，这个消息好到连 Eliezer Yudkowsky——最著名的 AI 灾难警告者之一——也不得不调低他估计的毁灭概率。在 Roon 看来，对齐可能成为一门“常规科学”。

就连 Roon 也有一些保留意见。该领域的其他人仍需确认这些结果，他还怀疑可解释性方面的突破会推动 AI 能力的提升。而这些突破来自大厂之外这一事实，对包括 OpenAI 在内的大型实验室来说可不是好兆头。

Nanda 认为这是有用的工具，而非突破

Neel Nanda 则远为审慎。他被视为机制可解释性的奠基人物之一，目前领导 Google DeepMind 的可解释性团队。在此之前，他曾在 Anthropic 工作并担任独立研究员。据他所说，他的观点已经转变：自 2024 年年中以来，他对雄心勃勃的可解释性研究变得更加悲观，并转向了务实的路线。他的团队降低了对稀疏自编码器研究的优先级。他们并不认为该技术无用，只是觉得它似乎不值得该领域投入这么多精力。

Nanda 写道，Cammarata 的工作很有趣，但并没有真正改变大局。基于神经元的分析可能有助于回答实际问题，比如模型为什么做了某件可疑的事，而且它应用于前沿模型要容易得多。但他并不认同可解释性即将被彻底攻克的说法。他预计基于神经元的分析会存在严重缺陷，同样会遗漏很多内容。

Nanda 仍然认为叠加（superposition）是真实存在的。他主张，语言模型存储的事实数量远超其神经元数量，尤其是微弱的激活很可能承载了其中大量信息。他怀疑小型图像模型上的研究结论能否推广过来。他还认为这篇文章对单义性（monosemanticity）的定义过于宽松，但也肯定了 Cammarata 用现代工具重新检验其旧工作的做法。

这场争论部分归结为定义问题：Cammarata 并不介意模型所表示的概念多于其维度数量，Nanda 也认为他在这一点上与自己是共识的。Cammarata 所质疑的是，网络会随意地把完全无关的东西打包在一起。

配套的技术论文尚未发布。作为一家可解释性公司，Goodfire 在这一论题上也有明显的利益关联。如果 Cammarata 的解读成立，他认为自动化研究员可以在几个月内完成人类借助图像模型花了近十年才完成的工作。他写道，留给这项工作的时间可能不多了。