如何构建更具选择性与灵活性的 AI 基础设施

AI 基础设施正在快速变化。训练和推理对计算、内存、互连和网络提出了不同的需求，没有任何一种单一架构能够适配所有工作负载。

对于系统架构师而言，这引出了一个重要问题：系统能在多大程度上从设计之初就具备灵活性？

答案越来越多地涉及给设计者在内存、计算、互连和封装方面提供更多选择，同时确保这些技术能够协同工作。

不同工作负载，不同需求

AI 训练和推理可能运行在许多相同的基础设施之上，但它们的行为方式并不相同。

训练对内存和加速器之间的通信有很高的要求。推理则有一组不同的需求组合，包括内存容量、延迟、吞吐量和能效。

在选择架构时，这些差异至关重要。适合某种工作负载的内存技术未必适合另一种。互连和网络技术也是如此。

这正是 AI 基础设施日益走向异构化的原因。架构师们正根据系统需要完成的任务组合不同的技术，而不是试图把每种工作负载都塞进同一种设计。

图 1：异构应用需要不同的方案来实现优化。

开放标准为设计者提供了更多组装这些系统的方式。

UCIe 就是一个例子。该标准为裸片到裸片（die-to-die）互连提供了通用方法，旨在支持开放的芯粒（chiplet）生态系统。它为业界提供了一种标准化的方式来连接封装内的裸片，而不必把架构绑定到某一种单一实现上。

系统架构师还在更广泛的工艺技术、封装方法和功能范围内开展工作。基于芯粒的方法提供了另一种划分这些功能的途径，使计算、I/O、内存接口和其他功能能够集成在同一个封装内。

UCIe 为这种环境提供了标准化的裸片到裸片连接。这让设计者在评估不同功能应如何划分与集成时，拥有一个通用接口。

对设计者而言，其价值在于选择。不同的功能可以借助它们之间的通用接口被集成到一个封装中。

当架构师需要在性能、功耗、成本、封装和工艺技术之间进行权衡时，这种自由尤其有用。

开放标准为将来自不同供应商和代工厂的技术整合进同一个系统提供了共同基础。互操作性帮助设计者理解这些不同的实现将如何协同工作。

验证在这里扮演着重要角色，尤其是当系统纳入更多功能、接口和技术时。

对选择的需求并不止步于封装层面。

一个 AI 系统可以包含多种互连方式，各自承担不同的角色。PCIe、CXL、UCIe、UALink 和基于 Ethernet 的技术各司其职，覆盖架构的不同部分。内存则带来另一组决策。

图 2：不同的互连，不同的范围，同一个目标：经济、快速的数据传输。

需求还会随数据流向的不同而变化。HBM4E 和 LPDDR6 满足不同的内存需求，而 PCIe 支持高速的主机与设备连接。UALink 解决加速器之间的通信，224G 高速 SerDes 为要求苛刻的连接应用提供底层高速信号传输，UCIe 则连接封装内的裸片。

设计者需要考虑连接的对象是什么、需要移动多少数据，以及工作负载的需求。将这些决策放在一起考量，比孤立地看待每个接口能提供更完整的系统视图。

这种视角改变了设计对话。架构师不必再独立优化各个部分，而是可以审视内存、计算和连接如何在整个系统中协同配合。

随着工作负载、内存技术、加速器和互连技术的进步，AI 基础设施将持续变化。在架构中构建灵活性，能让设计者在这些需求变化时拥有更多选择。

开放接口与互操作性是这种灵活性的重要组成部分，它让设计者能够根据系统需求选择技术，而非局限于单一方案。

如需深入了解塑造这些系统的内存、计算和连接技术，请阅读我们的《用 IP 方案构建 AI 工厂》白皮书。