Physical AI 的内存挑战

大多数关于 AI 硬件的讨论都从算力开始，这是可以理解的，因为加速器看得见、易于比较，而且常常与 headline 性能指标挂钩。物理 AI 则拓宽了这一讨论，更加重视算力、内存和数据移动如何在真实运行约束下协同工作。对于必须在物理世界中实时地看、理解、决策和行动的智能系统而言，让正确的数据在正确的时间到达正确的引擎至关重要。

因此，在构建物理 AI 系统时，数据移动已成为越来越重要的考量因素。一台物理 AI 设备可能同时处理传感器数据流、模型权重、激活值、临时缓冲区、控制回路和安全功能。如果内存访问变得不可预测，计算引擎就可能停摆。数据被过度频繁地搬运时功耗会上升，而规划不当的缓冲可能造成难以在后期挽回的延迟累积。

随着物理 AI 工作负载变得更加复杂，架构师现在必须考虑当多个真实世界工作负载同时活跃时，整个系统的可预测性表现如何。

避免不必要的数据移动

物理 AI 系统依赖于一个内存层次结构，协调片上内存与更大容量的外部内存。LPDDR 或 GDDR 可能保存模型权重、传感器数据、激活值和其他工作数据，而片上 SRAM 和缓存则将 NPU、CPU、DSP、ISP 或其他处理引擎当前所需的部分保持在计算附近。

当工作负载流经处理管线时，所需的数据会从外部内存传输到片上内存，在那里能以更低的延迟和能耗被访问和复用。架构越有效地复用这些本地数据，需要从外部内存重复获取相同信息的次数就越少。然而，由于 SRAM 和缓存会占用硅面积，其容量是有限的。放不进片上或使用频率较低的数据仍留在 LPDDR 或 GDDR 中，直到需要时才取出。

这种协调非常重要，因为内存层次结构中每一次不必要的传输都会消耗能量、增加延迟并占用外部内存带宽。物理 AI 系统还受到设备尺寸、封装复杂度、供电能力和散热余量的约束。因此，目标不是完全消除对外部内存的访问，而是在数据仍然有用时尽量让正确的数据靠近计算，并避免超出必要次数地移动它。

经过精心规划的数据流会围绕工作负载来协调计算引擎、片上 SRAM 和缓存、外部 LPDDR 或 GDDR、缓冲以及互连。这有助于在高效利用外部内存容量和带宽的同时，让计算资源保持高产出。

真实世界应用揭示了其中的权衡

人形机器人、无人机、自动驾驶汽车、智能摄像头、检测机器人、工业机器人和自主移动机器人可能都运行本地智能，但每一类对内存和接口的压力各不相同。它们的架构必须决定哪些数据应留在计算附近以便即时访问，哪些应存放在容量更大的外部内存中。

人形机器人可能需要在有限的功耗与散热范围内，同时整合摄像头、深度感知、音频、惯性数据、平衡控制、物体识别、路径规划和执行器反馈。如果感知数据延迟到达，控制决策可能随之延迟。此外，如果模型权重和中间数据被过于频繁地重新加载，持续性能会下降，功耗会上升。在这类系统中，内存效率会影响机器人感知、决策和运动的流畅程度，而这些都是实时运行成功的关键。

无人机或自主移动机器人面临的是另一组约束。它可能需要视觉导航、避障、稳定控制、物体跟踪、无线通信和视频处理，同时还要保持在有限的功耗和散热预算之内。不必要的外部内存访问会缩短运行时间、增加热量，或给控制回路引入延迟。对于这类物理 AI 系统，每瓦带宽与原始带宽同等重要。

自动驾驶汽车和高级驾驶辅助系统（ADAS）则带来更大的挑战。由于集成了摄像头、雷达、激光雷达、超声波传感器、车辆遥测、地图数据和各类控制功能，内存访问的竞争异常激烈。有些数据流需要持续的吞吐量，有些则需要在多个传感器域之间进行融合。让相关数据保留足够长的时间以支持规划和决策，也是一个重要的考量。在这种环境下，内存行为既影响吞吐量，也影响响应的可预测性。

内存选择必须以工作负载为准

在构建内存架构时，架构师应当从物理 AI 工作负载自身的行为出发。目标不是简单地选择最快的外部内存技术，也不是配置尽可能大的带宽，而是根据设备的数据流、复用模式、延迟要求和运行约束，对完整的内存层级进行合理规划——包括本地存储、外部内存容量、带宽、功耗、缓冲和集成。

LPDDR 和 GDDR 针对的是不同的架构优先级。当需要以每瓦带宽和内存容量来支撑本地推理性能时，LPDDR 往往是很好的选择。当以持续的图像或传感器流带宽为主要需求时，GDDR 可能是可行的选项，因为它的高带宽可以用更少的 DRAM 器件来满足这些性能需求。

现有的解决方案为架构师在这一权衡上提供了相当大的灵活性。例如，Cadence 提供支持高达 14.4Gbps 数据速率的 LPDDR6/LPDDR5X PHY 和控制器 IP，以及为高带宽应用提供支持高达 36Gbps 数据速率的 GDDR7 PHY IP。这些选项使外部内存接口能够与工作负载相匹配，而不是被当作一刀切的设计选择。

人形机器人可能优先考虑对模型权重、感知数据和控制信息的高能效访问。智能摄像头或自动驾驶感知处理器则可能对持续的视觉流带宽提出更高要求。无论哪种情况，架构都应让频繁复用和延迟敏感的数据靠近计算单元，同时为剩余的容量和带宽需求选择合适规格的外部内存接口。这有助于既避免内存瓶颈，也避免不必要的过度配置。

五项内存架构决策

在选择外部内存接口之前，架构师应评估设备的数据流和运行约束如何影响五个关键领域：

• 数据局部性： 哪些数据应留在计算单元附近以满足延迟、复用和能效要求，哪些数据应驻留在外部内存中？
• 流量竞争： 传感器、推理、软件、安全和控制流量将在哪里争用内存访问？
• 外部内存适配： 哪种外部内存方案最符合设备的带宽、功耗和集成需求？
• 缓冲策略： 需要多少本地存储和缓冲才能有效复用数据并避免不必要的片外移动？
• 延迟可预测性： 当多个工作负载同时运行时，设备能否将延迟保持在有界范围内？

均衡的内存架构使数据局部性、流量管理、外部内存选择、缓冲和延迟可预测性与设备工作负载相匹配。这些决策共同有助于减少不必要的数据移动，保持计算资源的高效运转，并在多个工作负载并发运行时维持可预测的性能。

结语

物理 AI 将智能置于持续运行、与真实世界信号交互、并在功耗、散热、延迟和可靠性约束下做出响应的设备之中。要满足这些需求，需要计算、内存和数据移动作为一个协调的系统来运作。可预测的数据移动对于物理 AI 设备在真实世界条件下高效运行至关重要，这使得内存架构成为整体设计的重要组成部分。选择合适的内存需要在延迟、能效、带宽、缓冲和工作负载需求之间进行细致的权衡。架构师必须让常用数据靠近需要它的引擎，高效利用外部带宽，保持计算资源的高效运转，并在工作负载并发运行时维持可预测的系统行为。

了解如何借助 Cadence 的设计 IP 架构物理 AI 系统，请参阅 Cadence 的 “在真实世界约束下设计物理 AI 系统” 白皮书。