开发者如何借助 GPT-6 Astra 等 AI 智能体在 NVIDIA Omniverse 中构建仿真应用

将一个仿真构想变成可运行的应用程序，意味着要整合资产、连接物理与渲染，并检查场景是否按预期运行。开发者正在将前沿 AI 模型与 NVIDIA Omniverse 库相结合来帮助完成这项工作——构建用于探索场景、调查故障和改进设计的应用程序。

开发者通过自然语言指令指挥 AI 智能体，审查结果并引导修改。Omniverse 库提供 GPU 加速的物理、渲染和传感器仿真能力。

浏览下面的项目，了解诸如 GPT-6 Astra 等前沿 AI 模型的实际应用，并回头查看来自 NVIDIA 团队和生态系统中开发者的新示例。

为仓库环境构建人形机器人仿真器 🔗

以第一人称和第三人称视角探索基于物理的、游戏化的人形机器人控制。

在实现仓库任务自动化之前，开发者需要一个交互式仿真环境来探索任务行为并评估工作完成情况。NVIDIA 的 Omniverse 产品经理 Frank DeLise 使用 Astra 将一个 SimReady 仓库和人形机器人转变为具有第一人称和第三人称视角的交互式仿真器。

DeLise 指挥 Astra 连接用于物理（ovphysx）、场景更新（ovstage）、渲染（ovrtx）和用户界面（ovui）的 NVIDIA Omniverse 库。他还结合使用 Astra 和 SimReady（simready-foundation）在仿真中创建物理场景。随后 Astra 生成了动画和应用程序代码，将这些能力整合在一起。

了解如何利用前沿 AI 模型和 NVIDIA Omniverse 库准备并验证 SimReady 机器人资产。

连接自动驾驶测试工作流 🔗

更改场景、传感器或驾驶模型会显著影响自动驾驶车辆仿真。NVIDIA 仿真技术团队的经理 Doyub Kim 让 Astra 构建 Zero to Alpamayo——一个基于旧金山 Market Street 的可复用仿真环境。

Kim 指挥 Astra 规划工作流，然后分阶段连接资产创建、交通、Omniverse RTX 传感器仿真和 Alpamayo 驾驶，并逐一检查每次集成。最终的原型是一个测试场，用于比较模型，并追踪场景或传感器的更改如何影响下游的驾驶行为。一项单独的 Cosmos3-Nano 实验改变了录制仿真视频中的天气和光照，使 Kim 能够比较驾驶模型在不同条件下对同一场景的响应。

利用传感器差异创建和改进数字孪生 🔗

比较录制的与仿真的相机和激光雷达输出，可为开发者提供基于关键绩效指标的反馈，以优化场景。

要测试机器人和自动驾驶汽车，开发者需要了解模拟传感器与真实传感器的匹配程度。在 NVIDIA 负责 RTX 传感器验证的 Ashley Reid 指挥 Astra 和 Claude Fable 5 智能体，将 ovrtx 相机与原始 LiDAR 输出和录制的数据进行对比。这些智能体从零开始创建了两个数字孪生，并改进了两个现有的数字孪生。

在大约三天的时间里，Reid 引导了一个迭代工作流程，智能体在其中测量差异、创建或修改 OpenUSD 场景，并检查结果。更改针对缺失的物体、几何体和材质，是否通过取决于相机和 LiDAR 指标。这为开发者提供了一种利用测量到的差异来指导场景创建和改进的方法。

首先使用 ovrtx 最小 Python 示例渲染一个 OpenUSD 场景，然后定义一个传感器度量与录制数据进行对比。

机器人奥运会：用仿真测试机器人技能 🔗

教机器人新动作意味着要检查这些动作在物理约束下是否可行。领导 NVIDIA Omniverse 工程与产品的 Tae Kim 使用体育视频和自然语言指令，引导 Astra 构建了 Robo Olympics，这是一个实验性项目，用于测试执行体育动作的模拟 Unitree G1 人形机器人。

在 Kim 的指导下，Astra 构建了控制器，并通过物理试验对其进行改进。Newton 物理引擎模拟行为，开源的 NVIDIA Warp 框架加速计算，ovrtx 渲染场景和虚拟相机图像。在一次实验中，机器人在 100 次仿真试验中有 64 次成功跨过了单个跨栏。这些试验为 Kim 改进机器人的时序和控制提供了反馈。

观看 Kim 探索如何使用 Astra 和 NVIDIA Omniverse 库构建仿真。

用计算机辅助设计与仿真测试机器人拆解 🔗

在机器人拆解产品之前，开发者需要了解其工具能否触及并拆卸零部件。NVIDIA OpenUSD 高级产品经理 Jens Jebens 指挥 Astra 在 PTC Onshape 中建模一个汽车悬架，并在 NVIDIA Isaac Sim 中进行配置。

借助 Astra，Jebens 探索了由仿真提供依据的 计算机辅助设计 和机器人工具修改。智能体测量了可用空间，并设计了一种机器人可以用来触及悬架螺栓的扳手。Jebens 报告在仿真中成功拆卸了一个悬架部件。这将设计与工具决策与拆解结果联系起来，为机器人策略训练提供了一个起点。

探索 Onshape 导入器指南。

将国际空间站带入浏览器 🔗

将 3D 模型变成应用程序，需要连接资产、实时数据和界面。NVIDIA 工程总监 Nic Johns 让 Astra 将 NASA 资产组装成一个带有遥测数据的 OpenUSD 国际空间站模型。Johns 仅用一个提示词就构建了该应用程序，随后又用后续提示词将场景切换到地球的昼侧，使地球可见。

该工作流使用 Blender 进行资产准备，并使用 Omniverse libraries 进行渲染（ovrtx）、场景运行时（ovstage）和流传输（ovstream）。该应用程序将 3D 模型和运行数据带入浏览器，Johns 通过提示词和修正来指导其开发。

试试 Omniverse Real-Time Viewer skill。

将拍摄的房间转化为测试环境 🔗

在开发人员测试交互之前，数字化重建的房间需要可编辑的对象和准确的物理行为。NVIDIA Isaac 工程应用团队的 Chirag Majithia 让 Astra 将立体相机拍摄内容转化为可编辑的 OpenUSD 工作室。

该工作流结合了 PyCuSFM、FoundationStereo 和 nvblox 进行重建，并通过用户审核来指导对象的选择和放置。Astra 组装了生成的资产和 Blender 制作的资产，并使用 USD Content Agents 来配置对象在模拟中的移动和交互方式。Isaac Sim 测试指导了门和抽屉的碰撞与接触修订。该工作室将拍摄的几何体与交互测试连接起来，使间隙和对象行为更易于检查。 

探索 USD Content Agents。

有模拟想法？探索 NVIDIA Omniverse libraries，与 AI 智能体一起开始构建。