为什么 Physical AI 的工程设计如此困难
Why Physical AI Is So Hard To Engineer
Physical AI 指让机器在真实世界中自主行动,需要以系统级方法整合传感器、执行器、边缘 AI 推理与实时控制,工程挑战远超性能本身。Synopsys 等厂商指出,这类系统要应对不可预测环境中的极端情况,并保证安全、可靠、可维护与可升级。
要点:
- 物理 AI 是指部署具备自主能力的机器,让其在真实世界中行动。它不是单一产品,而是一种建立在模块化架构之上的理念。
- 这类系统只能通过完整的系统级方法来开发,即以多物理场方法论集成传感器、执行器和分布式计算系统。
- 实时约束变得比过去重要得多,同时也复杂得多。
物理 AI 正在改变芯片的设计与使用方式,将感知、AI 推理和实时控制集成到能够安全、可预期地与物理世界交互的机器中。
挑战远不止性能本身。工程师需要应对来自不可预测环境的极端情况(corner case),确保这些系统安全可靠,并通过保证可维护性和可升级性让系统面向未来。这需要新的工具与方法论,以及一些新的设计思路。
“AI 正在走出屏幕,”Synopsys 负责物理 AI、数字孪生、仿真驱动 AI 和加速计算的主管 Anthony Matarazzo 说。“它不再只是生成文本或代码。它正在进入物理世界。它需要理解、交互、感知,并在物理环境中做出决策。我们正从生成式 AI 走向智能体工作流编排,再到物理 AI(见图 1)。这实际上是在让智能变得可执行。但出错的后果发生了根本性变化——关乎生死,或正负 1% 的差别。”

图 1:AI 的三个时代。来源:Synopsys
物理 AI 必须能够看见真实世界并与它交互。“要让人工智能正确地看见世界是很困难的,”Keysight EDA 信号完整性应用科学家 Chun-Ting “Tim” Wang-Lee 说。“真实世界的信息来自传感器,数据必须被传输到某处并进行处理,以便 AI 做出决策并随后采取行动。这中间有许多需要做出的决策。”
这改变了设计的优先级。“物理 AI 通常被描述成一个算力的故事,”Mixel(Silvaco 旗下公司)市场与销售总监 Justin Endo 说。“但从我们的角度来看,它其实一直是一个成像的故事。每一台机器人、无人机和自主系统,归根结底都是摄像头为推理引擎提供输入。”
物理 AI 建立在为物联网开发的一些连接与感知技术之上。“物联网主要在于连接和监控各种事物,”瑞萨电子物理 AI 与 UX 负责人 Brad Rex 说。“物理 AI 则是让机器具备在非结构化环境中自主感知和行动的能力。这是一个完全正交的工程问题,它要求系统级内容实现阶跃式增长——每台设备需要更多的感知、更多的实时计算、更复杂的电源管理以及更多的安全考量。”
“在具身智能领域,设备分为两类:‘一类可以依赖云连接,另一类则必须完全在本地运行、不依赖网络连接。’Arteris 产品管理与营销总监 Ashley Stevens 表示,‘例如,车辆无法依赖持续的连接,因为很多地方蜂窝网络覆盖不足。相比之下,工业机械臂虽然会移动,但被限制在工厂内的特定位置,因此可以连接到云端。’
其他人也持相同看法。‘与主要生成信息的传统 AI 应用不同,具身智能系统通过与环境的持续交互来影响现实世界的结果,’Cadence 设计 IP 产品营销集团总监 William Chen 表示,‘传统物联网通常专注于收集和传输数据,而具身智能增加了实时解读与行动。其结果是从联网设备向在感知与控制回路中运行的智能系统的转变。’
这需要新的架构和新的方法论。‘整个架构非常不同,’Vinci 半导体与电子业务负责人 Satish Radhakrishnan 表示,‘上市时间会慢得多,因为人们仍在学习。具身智能是他们想要的下一步,但要切换过去并不容易。最简单的切入点是重复性动作,但人们不愿为此支付太多。他们希望它做得更多。这就是为什么需要更复杂的架构来构建、实现可靠性,并让它在单次充电后至少工作一天。’
它还需要强大的处理能力。‘机器人和无人机需要强大且高效的计算能力,能够在动态环境中进行多模态处理和准确的实时响应,’联发科(MediaTek)IoT 业务副总经理 Sameer Sharma 表示,‘由于延迟和带宽的限制,这些设备需要能够在边缘处理 AI 工作负载的芯片,包括面向机器视觉和物体分类的 AI 加速。’
随着系统变得更大或能力更强,额外的挑战也随之出现。‘你需要通过活动关节实现更远的传输距离、将许多摄像头聚合到少数端口,以及应对从汽车领域延续而来的功能安全期望,’Mixel 的 Endo 表示,‘但该标准已经在朝这个方向发展。移动摄像头接口正在成为机器人的视神经,而这种经过移动领域验证的成熟度是任何替代方案都难以匹敌的。’
不同市场采用具身智能的速度会有所不同,但总体预测值得关注。从高层次来看,普华永道(PwC)估计,到 2030 年全球具身智能市场规模将达到约 4300 亿欧元,并具有‘随着系统规模扩大和成熟而产生的巨大上升潜力’。与此同时,德勤(Deloitte)发现,58% 的企业报告目前至少有限地使用了具身智能,预计这一数字将在两年内上升到 80%。
并非所有行业都会同时采用这项技术。"物理 AI 不只是边缘 AI," Synopsys 系统解决方案战略项目执行总监 Frank Schirrmeister 说。"它比机器人技术的范围更广,但采用进程会不均衡。问题在于每个行业采用物理 AI 的速度有多快。它要求你超越芯片本身,触及完整的物理世界。当感知、推理、物理行动和自主性形成完整闭环时,增长拐点就会到来。这实际上是一次平台转型,一切都在被提升到系统层面。"
新市场一再推动半导体生态系统的变革。"我们认为物理 AI 是未来几年最具颠覆性的 AI 机遇之一," Velaura AI 联合创始人兼总裁 Sanjay Gupta 说。"我们把它视为一个独立的品类,而不是又一批 IoT 产品。行业估计各有差异,但多项预测显示,未来 10 年内,机器人、无人机、工业自动化、物流、医疗保健和国防领域的总可触达市场将达数万亿美元。"
在许多情况下,行业何时推进将由市场压力决定。"最清晰的近期应用在工业和物流场景中," Renesas 的 Rex 说。"人形和非人形机器人在工厂、仓库和供应链中处理重复性或体力要求高的任务,在这些地方,劳动力短缺使自动化很有价值,而且环境结构化程度足够高,如今就可以安全部署。"
虽然许多人关注安全与安保问题,但对此可以有多种解读。"物理 AI 正在为让必要的工作更安全、更高效、更富成效提供新的途径," Arm 物理 AI 市场推广总监 Robert Day 说。"我们已经看到自主机器人在制造、物流和运输领域走向实际工作。据估计,这些行业在 2030 年代将带来每年 2000 亿美元的算力机会。"
某些领域的部署可能会比其他领域慢,但整个行业可能呈现快速增长。"每个品类都会各自独立发展,增长较慢,但会有许多行业并行增长," Vinci 的 Radhakrishnan 说。"每个领域都需要新一代 AI、新的算力,这会影响其发展速度。某一领域可能需要更长时间才能纵深发展,但在完全渗透一个细分市场之前,它会进入多个新的细分市场。合在一起,它将持续增长。"
但在那之前,它们都需要在训练和仿真等领域取得一些进展。"我们知道互联网训练了生成式 AI,但什么来训练物理 AI?" Synopsys 的 Matarazzo 问道。"这是企业都在问的重大问题。现实是有规则的。"
模块化
物理 AI 系统不像手机那样,新款一出就很快被更换。汽车、机器人和无人机的初始成本要高得多,而且预期要使用多年。这意味着许多物理 AI 系统需要可升级,不仅是软件甚至 AI 模型层面,硬件、传感器和执行器也同样如此。
随着模型和应用场景的变化,物理 AI 系统将持续演进。Arm 的 Day 表示:“在开发与部署之间保持一致的计算基础,可以帮助团队延续软件成果,而不是为每一代产品重新构建各个组件。‘要把机遇转化为增长,最终取决于让自主机器在效率、响应速度和可靠性方面达到足以大规模部署的水平。’
“自动驾驶汽车已经存在一段时间了,但较早的产品无法改装以适配更新的技术、摄像头传感器等,”Radhakrishnan 说,“物理 AI 的设计需要走向某种形式的模块化系统。也许你有一个可以取出更换的计算系统,或者一个新传感器。人们或许可以接受每两三年支付原价 10% 的费用来更新某些部件,而软件更新也在不断推送。正是这一点会让它持续焕新。”
要实现这一点,需要在初始设计阶段就加以考虑。“鉴于机器人架构演进速度之快,我们是为预留余量而设计,而不是试图预测一个固定的最终状态,”Rex 说,“这意味着更大的计算余量、可扩展的电源架构,以及无需完全重新设计就能吸纳额外感知或智能能力的模块化子系统设计。我们正在开发下一代设备,并评估如何在功耗、计算、可扩展性和效率等多个维度上进行优化,以确定恰当的平衡。我们还依赖分布式架构,因此当能力需求增长时,通常只需添加或升级某个子系统,而不必更换整个平台。这种方法,加上可以随时间更新的软件和参考设计平台,能帮助客户避免把自己逼进设计死角。”
与以往许多嵌入式或边缘系统相比,需要更多的面向未来的设计。“物理 AI 部署往往具有很长的运行寿命,却又必须适应不断演进的 AI 模型、新传感器、变化的工作负载以及日益提高的自主性要求,”Cadence 的 Chen 说,“因此,面向未来设计的关键不在于最大化原始性能,而在于构建架构上的灵活性。多裸片架构、可扩展的内存子系统、高速互连以及基于标准的接口,为系统随需求变化而调整提供了机制。挑战在于,许多基础设施决策一旦嵌入系统就难以更改。内存架构、通信结构和接口选择往往决定了未来扩展的实际上限。”
实时性约束
虽然实时性约束一直是许多嵌入式系统的基本特征,但物理 AI 将把这一点带向远超以往的复杂度。过去采用的许多简化手段可能不再可行,例如因为缓存会引入不可预测的响应时间而不使用缓存。
仅计算问题本身的规模就是前所未有的。“对于为物理 AI 设计的芯片,最大的限制在于真实工作条件下的可预测性,”proteanTecs 工程与客户成功执行副总裁 Alex Burlak 说。“以人形机器人为例。它可能拥有一个强大的中央计算系统作为其‘大脑’,但它的全身可能分布着数十个 MCU 及其他器件,用于控制电机、关节、传感器、电源和通信。其中任何一个器件出现时序问题或性能退化,可能不只是意味着应用运行稍慢,而是可能意味着某个关节的响应与预期不同、某个传感器输入延迟到达,或者某个执行器的行为超出其预定参数。”
将系统对周围环境的理解转化为精确的动作非常复杂。“物理环境是不可预测的,传感器数据也可能充满噪声,因此系统需要应对不确定性,并随着条件的变化持续适应,”联发科的 Sharma 说。“这需要一个软件栈,能够连接感知、导航、决策与控制,并支持面向特定应用的模型、运行时和工具。”
这需要一种不同的关注点。“传统 AI 基础设施通常针对吞吐量、利用率和规模进行优化,”Chen 说。“物理 AI 系统必须在响应持续变化的输入的同时,满足延迟、功耗、可靠性、安全性和环境要求。一个来得太晚的正确答案,在实际运行中可能等同于一个错误的答案。因此,物理 AI 引入了不同的优化目标。目标不再是单纯地最大化计算性能,而是在感知、内存、计算、通信和执行整个链路上保持可预测的系统行为。”
这就成为一个更复杂的优化问题。“物理 AI 系统需要处理传感器数据,并在尺寸、功耗和重量的严格限制下实时推理并采取行动,”Day 说。“它们需要的不仅仅是能力强大的 AI 模型。硬件和软件必须围绕这些工作负载协同设计,从低功耗感知和实时控制,到高强度的 AI 处理。”
整个系统成为时序约束的一部分。“这是硬件/软件协同设计最为关键的一个典型例子,”Rex 说。“跨多个领域的复杂性在未来会变得更加显著,不仅涉及电子学,还涉及机械设计和电池技术。这些学科中有许多过去曾被相对独立地处理,如今它们构成了更大的挑战,因为它们必须同时解决,而不能各自孤立地处理。由于物理 AI 系统必须将 AI 推理与确定性的、安全攸关的控制相协调,芯片和软件不能分别优化后简单地期望集成成功。系统架构、实时软件以及底层的计算和电源硬件,都必须从一开始就一起设计。”
这一方法论变革已酝酿许久。“物理AI可以说是软硬件协同设计最有力的例证之一,”Chen说,“控制回路行为源于感知、内存访问、推理执行、通信和执行器之间的交互。仅靠改进软件无法克服基础设施瓶颈,而更快硬件不会自动改善系统行为——如果数据传输、同步或时序仍受限制的话。必须从端到端的角度考虑架构。
实时AI究竟意味着什么?Synopsys 的 Schirrmeister 问道:“AI 是否总能足够快地把控制结果传回执行器?”工程挑战在于行为层面。先完成那些真实场景,再应对不确定性,确保不会导致灾难性故障。软硬件将变得更加关键。你确实需要足够的灵活性来升级,同时出于安全原因,也要能在无法继续之处停止。
挑战不仅仅是制造更快的芯片或更强大的AI模型。物理AI系统必须在变化的运行条件下保持可预测性的同时,协调感知、计算和执行。这将需要系统架构、软硬件协同设计和验证方面的新方法,尤其是当这些机器变得更加自主且服役时间更长时。
编者按:本系列的后续文章将探讨物理AI系统如何学习和适应、工程师如何应对老化和性能退化,以及验证方法如何帮助防止错误或不安全的行为。
相关文章
EDA 的未来是证据驱动的自动化
AI 或许能加速半导体设计,但用户仍需要形式化证明、语义连续性和可审计的工作流来信任自动化。
AI 时代的软硬件协同设计
尽管好处已被认可,但软硬件联合开发流程仍面临诸多挑战。
当AI智能体跨越芯片设计壁垒
随着AI智能体在芯片设计中扮演的角色不断扩大,专业化和编排变得越来越重要,但协调、控制和信任仍是挑战。
来源: Semiconductor Engineering 芯片与封装 · semiengineering.com