AI 验证芯片盲测：Claude Opus 5 漏掉约 168 个手植缺陷

如今，越来越多的新兴 EDA 公司涌现，这是好消息。这个行业需要新的活力、新的思想领袖、愿意冒险的人。对于那些在满足下季度财务目标的同时无法走出既有舒适区的老牌公司来说，也是如此。但有时，新的初创公司会忘记与半导体设计相关的风险。虽然他们或许能证明自己缩短了上市时间，或达成了更好的性能目标，却未能理解这一步在整个流程中是多么微小。

如今，许多公司想让我们相信 AI 无所不能。有人指出它可以自动化设计，有人指向验证，甚至有人声称它能用同一份源材料同时完成两者。不，做不到。虽然其中一些在未来或许可能实现，但今天离那一刻还很遥远。

他们中的许多人没有做到的是拿出证据。一个例子、一个设计、一块 IP 都不算证据。在验证任何新工具或新方法时，你总是需要保留一个测试集，留到最后使用。就 AI 而言，这个测试集必须是它从未见过、从未被训练过的内容。只有这样才可能得出公平、无偏的结果。一旦你为了在某测试用例上表现良好而调整工具，它就不再是一次真正的测试。

这就是为什么我很高兴收到 Arm 高级验证架构师 Vikash Kumar 的来信。他拥有超过 15 年的半导体行业经验，著有《AI-Assisted Hardware Verification: Cognitive Verification Architecture with the VEGA Framework》一书。他与分享的是他对现有大语言模型在创建 testbench 方面质量的独立研究。

20 多年前，Certess 将变异分析引入行业。如果你向设计注入一个 bug，testbench 能否发现它？他们使用传统的固定型故障模型和复杂的统计分析来减少所需的故障总数。结果对许多自以为做得不错的公司来说无异于一记耳光，他们这才发现自己的 testbench 有多糟糕。

Vikash 的方法有所不同。“实验设置很简单——把规格说明书和 RTL 交给 AI，让它进行验证，并在确信设计干净时报告结果，然后检查它实际发现了什么。我手动植入了真实的、有代表性的功能性 bug，这样能保持 ground truth 的干净。我确切知道植入了哪些 bug，因此检测结果是基于已知集合来衡量的，而不是凭印象。”

我问 Vikash，为什么他选择植入 bug，而不是使用自上世纪 80 年代以来一直是行业首选的固定型故障模型。“AI 验证的核心问题在于它是否足够理解设计意图，能否捕捉那些细微的、意图层面的 bug，而这正是它的短板——漏检集中在数据通路、编码逻辑和功能性边角情况上，而不是任何固定型故障模式会标记出来的东西。”

他从 25 个手工编写的设计开始，涵盖总线协议、DMA 引擎、ECC 存储、控制与外设逻辑以及并发场景。这些 RTL 从未公开发布过。他在其中植入了 806 个 bug。模型获得的是基于已公开协议标准的规格说明书。他选择了三个前沿 AI 模型：Claude Opus 5、GPT-5.4 和 GLM-5.2。

“在没有人工干预或预设时间限制的情况下，每个模型都生成了测试平台、制定了覆盖率目标、执行仿真、发现并修正 RTL 缺陷，并迭代完善验证，直到自主宣布签核。所有缺陷都是预先植入的，不过有些缺陷只有在之前的修正之后才会显现。”

以下是他的主要发现：

• Claude Opus 5 检测出了 79.2% 的植入缺陷，GPT-5.4 检测出了 76.2%，GLM-5.2 检测出了 62.8%。
• 即使表现最好的模型也漏掉了 20.8% 的植入缺陷，大约相当于 168 个 bug。
• 尽管仍存在功能缺陷，这三个模型都达到了自己设定的验证目标的 100%，并宣布签核。
• 在此次审计中，ECC 内存、GPIO 和 AXI DMA 设计中的漏检率尤其高。
• 有些漏掉的缺陷涉及规格说明含糊不清。这些智能体没有要求澄清就直接继续进行，最终宣布验证完成。

即使是最好的模型 Claude Opus 5，也没有检测出大约 168 个缺陷。GPT-5.4 漏掉了约 192 个，GLM-5.2 漏掉了接近 300 个。也许更糟的是，Vikash 对每个模型各运行了三次，而每次运行的结果都不相同。但他对结果非常乐观。“令人印象深刻的是 AI 自主捕获了多少问题，”他说。“重要的是它漏掉了多少，而这正是工程师仍然关键的地方。”

类似地，ChipAgents 刚刚发布了其新的 build-a-chip-bench 工具。该工具从工作负载规格出发直至 GSD。该公司对五个模型进行了排名。最好的 Claude Fable 5.1 取得了 16.6% 的分数，而垫底的 GLM-5.3 得分为零。这些结果看起来很糟糕，但最大的失败在于它们对性能约束缺乏理解。

我认为，当要编写必须感知底层硬件及其性能（而不仅仅是原始速度）的软件时，这将是一个更大的问题。部署在物理 AI 中的实时系统需要在广泛的运行条件下、以低功耗实现可预测的延迟。而如今没有任何这类数据可用于训练。

最后以 Vikash 的另一句评论作结：“你可以把验证的工作自动化，但无法把验证的责任自动化。”