AI 工作负载快速演进，芯片测试难以跟上步伐

要点速览：

• AI 工作负载的变化速度超过了芯片设计、制造和测试的速度，迫使芯片厂商重新思考测试策略。
• 更复杂的封装和更多的测试环节正在产生海量数据，其中许多数据分散孤立于不同公司和设施之间。
• 随着客户希望延长日益昂贵的 AI 硬件的使用寿命，芯片厂商需要更好的方法来监测老化与可靠性。

AI 模型和方法的快速演进，造成了该测什么、何时测以及芯片进入现场后该监测什么的困惑。

直到不久之前，测试目标和测试环节的时点通常由晶圆厂工艺和物理定律决定，测试结果是确定性且可量化的。但自生成式 AI 推出以及随之而来的数据中心爆发以来，新算法和使用模型的推出与芯片实际部署所需时间之间的差距不断扩大。

数据中心中越来越多的高性能处理器——以及许多边缘设备中的处理器——都是多芯片组件。这些芯片更加复杂，设计、制造、封装和组装所需的时间更长，而其设计目标所针对的工作负载往往在芯片完成最终测试时就已经发生变化。在此过程中，测试环节越来越多，每个环节都会产生更多数据。

测试本身也更加复杂和多样。除了电气测试之外，这些芯片还需要进行机械完整性分析。AI 工作负载对多芯片组件中某一部分的压力可能大于其他部分，而且随着算法和使用场景的演进，这些负载可能迅速变化。这反过来又需要日益复杂的多物理场仿真，以及对处理器和内存利用率、热梯度和数据通路吞吐量进行更多实时监测，同时还要关注可能影响信号完整性的加速老化。

“这是一个巨大的挑战，”Advantest 销售副总裁 Scott Segura 表示。“人们开始在基板中放入更多有源器件，并让各部件之间的距离更近，因此测试环节也在增多。哪些向左移？哪些向右移？如今的基板测试机只是在确保接触良好，但现在我们看到功能测试正在进入基板测试阶段。在裸片层面，我们在探测性能。我们必须控制热。对于已知合格裸片，它们必须能够在裸片层面承受 3 千瓦的功耗，所以我们现在在测试切割后的裸片。如何划分各环节的位置将会发生转变，而封装是关键。随着你往封装里、往基板里、往承载这些东西的任何载体上塞进越来越多的内容，你就必须开始测试这些不同的步骤。硅光子学目前有五个测试环节。”

随着从晶圆级向面板级的过渡，挑战只会更大，这将需要全新的设备和工艺。与此同时，过去在单一地点完成的封装和组装，如今被拆分到晶圆厂和 OSAT 之间进行。这带来了持续的挑战：谁能看到什么数据、何时看到，以及其中有多少可以与其他公司共享。

“测试插入通常发生在不同的地点,”Teradyne 半导体测试部门产品营销高级总监 Jeorge Hutarte 表示。“例如,从晶圆分选到单颗粒芯片探针测试可能在晶圆厂进行。他们有自己的数据收集流程和测试程序,并从晶圆分选和单颗粒芯片探针测试中收集失效机制。到了下一步,即把计算裸片加上一叠 HBM,或许还有其他 chiplet 组装到中介层上——如今正在从圆形晶圆转向面板,以优化设备利用率并在 310 × 310mm 面板上放置尽可能多的裸片——这种晶圆/面板中介层基板测试很可能由 OSAT 完成。那是不同的地点,有不同的测试程序和不同的数据收集环境或流程。它们不一定与之前的测试插入数据互通。不幸的是,在无晶圆厂的世界里,除非客户掌控一切,否则人们不会共享数据。”

图 1:不断演进的测试策略和新出现的测试插入。来源:Teradyne

测试变得更加复杂
从 2022 年 11 月 ChatGPT 问世到智能体 AI 系统被广泛商用,用了大约两年多时间。这大致相当于设计、验证和确认一颗芯片、把设计送入晶圆厂的 shuttle 流片、封装并将该芯片集成到功能系统中所需的时间。但在此期间,行业已从用于大规模并行乘加运算的 GPU 阵列,转向结合 GPU、CPU 以及定制化和可编程加速器来编排智能体的工作和交互。这些涉及截然不同的优化和优先级方案——随着工作负载的变化,这些层级结构也在不断被重新评估。

超大规模云厂商和大型芯片制造商一直在推动 EDA 厂商缩短设计这些小型系统所需的时间。但即使芯片设计周期能从如今的 18 到 24 个月缩短至 6 个月——这是某些大型芯片制造商声明的目标——从获得可用硅片到推出新的训练和推理模型之间仍然存在显著的时间差。如果递归式自我改进兑现其承诺,这种情况还可能再次改变。

“我们现在有一些客户会流片,在上面运行他们的模型或评估最终应用是什么,最终却不把它们推向市场,”Advantest 的 Segura 说。“他们会做它的衍生版本,或者做一个不同的版本。这可能改变他们在其上堆叠多少内存、有多少核心、有多少缓存以及整体架构。这完全取决于你是在训练前沿模型,还是它是一颗托管某种服务的 CPU。甚至连我们的客户有时也会判断失误。他们经历了完整的芯片开发周期,拿到硅片,开始在上面运行模型,然后发现使用模式已经改变,或者内存不够,或者成本太高。他们在开发什么方面也必须非常灵活。你会看到很多 chiplet 设计,因为它允许他们扩展不同数量的核心,例如。如果最初规划的是 256 个核心,可能最终只需要 192 个。”

打破数据孤岛
硬件与软件进度之间出现差距的原因很复杂。算法可以在数小时或数天内更新，而芯片架构的优化可能需要数年。目标是让每个流程环节都万无一失。要做到这一点，需要更多的测试、更多的数据，以及一个把这些数据转化为洞见的清晰计划。

“不仅有更多的工具，而且它们都在生成更多的数据——而且是非常丰富的数据模式，包含大量图像，”Siemens EDA Calibre 半导体研发部门幕僚长 Jim Schiely 表示。“长期以来，客户一直在构建自己的本地系统来管理版本、尝试建立上下文，因为你不能让一堆模型到处漂浮，却不知道所有这些数据的来源是什么。”

在某些情况下，这涉及多家公司；在另一些情况下，则涉及同一家公司内部的不同部门。

这里的一大挑战是突破一直控制着这些数据的孤岛。“这有两个方面，”Schiely 说。“一方面是技术层面的，另一方面与控制这些数据的实体之间的关系有关。在技术层面，好消息是有点像 AI 来救场了。等所有人把格式统一定义好需要很长时间。但借助 AI 工具，你可以很轻松地把这些数字化的信息线索转化为一个模型或表示形式，即使另一个部门使用的数据模型略有不同。这类问题基本可以自动处理。所以在这个领域，一些老问题可能开始消解。”

关于谁控制关键数据的争夺在 20 世纪 90 年代愈演愈烈，当时制造业开始从垂直整合的公司转向代工厂。为了让设计能够投产，代工厂制定了严格的设计规则。事实证明，这些规则对于提高良率非常有效，但它们也限制了设计自由。所谓的设计规则套件在每个新工艺节点都变得更厚，不同团队需要处理和分析的数据量也急剧膨胀。

“这需要从由某个团队完成的历史分析，转变为全厂乃至全组织的分析，再到现在真正实现联网的分析——要么贯穿你自己的供应链，要么与合作伙伴协作，”PDF Solutions 联合创始人兼产品与解决方案执行副总裁 Kimon Michaels 表示。“我们正在朝着如何打造一个标准平台的方向努力，这个平台能够高效地共享数据、汇聚数据并触达不同的设施，同时又能对 IP 的保护加以混淆。作为一个行业，我们肯定还没达到那个水平。”

智能体 AI 所需的编排进一步模糊了归属的界限。“我们行业的复杂性远不止于拿出最新、最强的模型，”Michaels 说。“关键在于应对客户与供应商关系中的地域分散性，去管理、收集并理解什么模型、什么数据需要在正确的时间出现在正确的地点。”

这一点非常重要，因为芯片正日益成为异构组件的组装体。

“基板上存在一些非常难以接触的有源元件，所以他们现在正在将 BiST 内置其中，”Segura 说。“他们在研究不同裸片之间如何相互通信。而且不仅仅是裸片。你可能还会有电感、电容或某种类型的电压调节器。我们如何对它们进行自测试，因为在基板层面上很难接触到这些东西？这一切都在改变你在无法接触时将如何进行测试。其中一些裸片里带有 CPU，所以它们已经内置了用于老化测试的自测试。但在无法接触的情况下，你要么不测试它，要么使用某种连接到它的东西。事情变得越来越复杂，人们正在摸索着前进。”

当开发芯片的成本相对低廉、现场故障尚可控制时，这曾被视为司空见惯。但在由带有 HBM 内存的 chiplet 组成的、运行任务关键型或安全关键型系统的复杂集合中，这些成本会迅速失控。避免这些问题需要更多的仿真、更多的测试以及对实际系统的更多分析。

“在某些情况下，由于静默数据损坏和其他潜在缺陷，你可能还需要进行系统级测试，”Teradyne 的 Hutarte 说。“一些公司要求在晶圆分选和切割裸片之间插入一个晶圆级老化测试环节，在真正将其作为堆叠提交给中介层之前，加速淘汰早期失效。与移动时代相比，AI 加速器领域的变化在于，每一次错误的筛选都会因数据中心的故障而造成数千美元的损失。因此趋势是越来越多的左移筛选和新增的测试环节。AI 时代的测试强度至少翻了一倍，因为一旦装入机架组装，它们的价值可能达到 30,000 至 50,000 美元。我们不能因为一个有缺陷的 chiplet 而扔掉 30,000 美元。”

更长的使用寿命，不断变化的工作负载
因此，芯片制造商越来越多地考虑返工，而不是报废裸片或整个芯片，他们的客户也在考虑延长这些芯片的使用寿命。

其中一些问题可以通过更多数据来改善，包括在无法获得真实数据的地方使用的合成数据。但更多的数据也需要更多的规划，以确定如何有效地使用这些数据。

“新趋势之一涉及工作负载调度，”Vinci 的杰出工程师兼半导体技术顾问 Rahima Mohammed 说。“如何以不太会使其过热的方式移动工作负载并保持安全？你还需要非常仔细地考虑所有应用。”

在系统级架构的多个环节都可以获得效率提升，无论是内存访问、了解哪些数据需要实时处理以及如何在系统中分配处理以确保这一点，还是当数据通路因电迁移而变慢时如何以及在何处重新路由数据。这样的例子不胜枚举，但所有这些决策还需要考虑到定制封装内部的结构变化、电介质的退化以及冷却架构的有效性，其中任何一项都可能影响系统随时间推移的表现。

“当你考虑小芯片（chiplet）和最先进的制程时，晶体管是如何组合在一起的？自热从何而来？你必须从纳米级一直考虑到封装级，”Mohammed说。“有了小芯片，如何把它们集成到封装中？在过去，PCB封装只是增加层数。你不必考虑所有的铜线或通孔。我们基本上就是凭感觉做。现在你再也没有这个选项了。你必须让电力通过你能想到的所有可能的层，无论是水平的、垂直的还是侧向的，而且你必须做所有这些‘假设分析’。如果我改变这里金属线的位置，会发生什么？”

结论
测试不再是芯片制造中的一个固定步骤。从历史上看，测试只占制造成本的一小部分，测试日程也更容易预测。但随着先进制程芯片越来越成为由小芯片和其他组件组成的异构集合，集成在定制化的先进封装中，利用率高且面向非常特定的应用，测试不再千篇一律。它是一个针对特定设计量身定制的独特过程，而且越来越昂贵、越来越耗时。除此之外，这些芯片的使用场景变化如此之快，以至于当一块芯片完成全面测试、可以投入使用时，它可能已经过时了。

AI可以被用来设计更好的AI芯片，并帮助整合来自测试等各种流程的数据，但跟上AI内部的变化是一个艰巨得多的挑战。而且，在这项技术稳定到一种不会每隔一个月左右就被彻底颠覆的使用模式之前，芯片行业很可能面临一些艰难的抉择：需要多少定制化才能保持竞争力，以及这种竞争力预计能维持多久。