NVIDIA 在 CoRL 发布 GR00T 2 世界动作模型及 Isaac Lab 3.0 等机器人仿真技术

仿真长期以来一直是机器人学习行走、滚动和跳跃的试验场，如今它正帮助研究人员教机器人完成需要更精细触感的任务：对齐齿轮、连接线缆以及组装小型部件。

从移动到操作的转变是本周在德克萨斯州奥斯汀举行的机器人学习会议 (CoRL) 的核心议题，与此同时，智能体机器人技术也在兴起——这是一种融合前沿智能体、为物理机器人系统生成可解释代码的新范式。

在 CoRL 上，NVIDIA 推出了新的开源机器人技术，包括世界动作模型、仿真工具、基准测试和智能体工作流。

在数千篇投稿中，NVIDIA 的两篇论文入选了 CoRL 最佳论文奖的六篇决赛入围论文：

GRAIL（从世界模型生成类人全身移动与操作），提出了一条用于 3D 资产和可供机器人学习使用的仿真就绪场景的数字生成管线。
RoboTTT: Context Scaling for Robot Policies，介绍了一种机器人模型和训练方案，可将视觉运动上下文扩展到比最先进策略高三个数量级，而不增加推理延迟。

这些进展帮助研究人员在复杂任务上训练机器人、在不断变化的条件下评估其性能，并利用失败指导进一步学习——构建从实验室演示走向工业部署所需的精度、适应性和自主性。

NVIDIA 正与 Ambi Robotics、博世研究（Bosch Research）、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、西门子（Siemens）、Skild AI、RLWRLD、加州大学伯克利分校（UC Berkeley）、Walden Robotics 和华盛顿大学等合作伙伴携手，将这些进展带给更广泛的机器人社区。

世界动作模型开启机器人自主性的下一个层级

机器人自主性的下一个层级要求机器人感知周围环境、预判其动作将如何改变环境，并以高度精确性执行复杂的多步骤任务。世界动作模型恰恰能实现这一点。

在 CoRL 上，NVIDIA 推出了 GR00T 2，一个基于 NVIDIA Cosmos 构建的开源前沿世界动作模型。该模型在包括 10 万小时 NVIDIA 开源人类自我中心数据在内的多样化机器人和人类数据上训练，使机器人能够学习灵巧操作技能。主要特性包括：

开箱即用的性能：在无需任务特定演示的情况下，50 项评估任务中至少成功完成了 40 项。
技能迁移：从人类演示中学习，并在无需机器人演示的情况下在不同机器人本体之间迁移技能
小数据下的泛化能力： 每个任务仅凭一次演示，就在 50 个任务上实现了 71% 的平均成功率；每个任务五次演示时提升至 95%。
智能体控制： AI 智能体可以使用 GR00T 2 的应用程序接口及配套工具，按顺序执行技能并从错误中恢复。

在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 基准测试中，GR00T 2 目前在所有视觉-语言-动作模型和世界-动作模型类别中均位列前三，并多次登上排行榜榜首。

Nexuni 正在测试将其用于机器人洗衣处理，Foxconn 正将 GR00T 2 应用于服务器制造的工厂自动化，Siemens 则正在各种工业用例中对其进行评估。

MicroAGI 正在使用经强化学习后训练的 GR00T 2，通过 YAM 机械臂执行以太网线缆插拔。其智能体机器人方法利用 Isaac Lab 3.0 和 Newton（策略训练所在之处）自动完成仿真环境的创建与校准。该智能体机器人工作流程将在 CoRL 上进行演示。

训练能力强的机器人需要多样化的数据。NVIDIA 的开放工作流程和模型为研究人员提供了更好的数据收集与标注工具：

对于构建机器人训练数据集的研究人员来说，NVIDIA 全新的开放 Video to Data 工作流程可将人类视频转化为仿真机器人演示，并推出一项挑战赛，邀请研究人员推动其发展。
NVIDIA 的EgoHand 开放模型将在 CoRL 上进行演示，自发布以来的两周内在 Hugging Face 上获得了超过 40,000 次下载——它利用来自 Noitom Robotics 的数据进行训练，可重建 3D 手部运动。

训练与扩展的舞台——仿真

预训练模型赋予机器人一套核心技能。仿真让研究人员能够在大规模部署到实体机器人之前，对技能进行大规模的训练、微调和评估。

NVIDIA Isaac Lab 是一个开源机器人学习框架，为这项工作提供了基础。其最新版本 Isaac Lab 3.0 允许研究人员使用智能体借助仿真就绪资产快速搭建训练环境，在 NVIDIA PhysX 与 Newton 物理求解器之间切换，为基于感知的训练选择渲染器，并将新的强化后训练库应用于 GR00T 等基础模型。

精确的物理对于将习得的技能从仿真迁移到真实机器人至关重要。通过与开源物理引擎 Newton 的更紧密集成，Isaac Lab 现在可以模拟线缆和布料等可变形物体，以及具有许多相互作用关节的机械手等复杂的铰接系统。

与 Newton 的集成模拟了草莓在机器人抓握下的形变。

Isaac Lab 与 Newton 相结合，将精确物理与规模化能力融合，让研究人员能够并行训练数千个模拟机器人。在一个基于视觉的灵巧操作基准测试中，Isaac Lab 3.0 与 Newton 相比 Isaac Lab 2.3 与 PhysX，训练吞吐量最高提升了 2.5 倍。

Isaac Lab 支持 Newton 和 NVIDIA PhysX 机器人仿真。

开发者正在扩展 Newton 的能力。在 CoRL 上，Skild AI 发布了面向具身学习的可扩展吞吐量优化引擎，简称 STEEL，这是一个基于 Newton 构建的新型刚体物理求解器，用于加速基于 Isaac Lab 的机器人训练。

Skild AI 的 STEEL 求解器。

Flexion 展示了 Isaac Lab 和 Newton 如何帮助训练其机器人智能模型 Reflect，该模型结合了推理与全身操作能力。

Flexion 将 Newton 与 Isaac Lab 结合用于强化学习。

FieldAI 正在使用 Newton（以及基于 NVIDIA Omniverse 库构建的 Isaac Lab 和 Isaac Sim）来训练和验证机器人策略，以便部署到非结构化的真实世界环境中。Dyna Robotics 将演示 Isaac Lab 中的并行仿真如何帮助为其半人形机器人 Taku 训练全身控制器，用于仓库、酒店和餐饮服务工作。

Walden Robotics 正在使用 Isaac Sim 的照片级逼真渲染，在面向制造和物流的虚拟环境中训练和评估其通用机器人；而 Dexmate 正在探索编程智能体如何在 Isaac Sim 中演练和优化操作策略，然后再在其 Vega 机器人上执行。

AlphaNIST 基于 Isaac Lab 构建，展示了高效练习如何转化为精确操作。单一策略学会 NIST 装配任务板上的全部 20 项任务，仅使用“是或否”的成功信号来操作毫米级零件。其训练成功率超过 98%，而每个任务单独训练的策略为 81%，同时使用的 GPU 时间减少约 39 倍。

AlphaNIST 使用 Isaac Lab 训练单一机器人策略，完成 NIST 装配任务板上的 20 项精密任务。

这些成果背后是来自华盛顿大学和 NVIDIA 的 Success-Guided Sampling（SGS，成功引导采样）。该方法将练习聚焦在策略成功概率约为 50% 的任务上，把训练导向其仍在学习的技能。借助 SGS，机器人训练可以扩展到超过一百万个并行环境。

德克萨斯大学奥斯汀分校的计算学院与 Texas Robotics 使用 Isaac Sim 和 Isaac Lab 在仿真中训练机器人技能，让学生在物理硬件到位之前就能开始开发。

用于机器人评估的全新工业基准

学会一项技能是一回事，在不断变化的条件下可靠地执行它则是另一回事。

NVIDIA Isaac Lab-Arena是一个用于大规模策略评估的开源框架，让开发者能够组合多样化且可重复的评估，然后在数千种变体上并行运行策略。分析可揭示哪些条件导致失败，让研究人员知道下次训练时该修复什么。其最新版本 0.4 的开发者预览版将在 CoRL 上发布。

DexBench 和 VABAR 是两个新的开源基准测试，是最早一批旨在借助 Isaac Lab-Arena 和 Newton 衡量机器人在工业任务中灵巧性与适应性的基准测试之一。

DexBench由 RLWRLD 与 NVIDIA 合作开发，将灵巧性评估从桌面环境带入真实世界的工作流程。它基于 NVIDIA Isaac Lab-Arena 构建，涵盖零售、物流、制造和酒店四个场景的 15 项任务，测试机器人在物体、空间和物理变化下的泛化能力。

Genesis AI、mimic robotics 及其他行业合作伙伴正在通过早期访问评估 DexBench。

团队可以在 Manifold——Bifrost 的机器人仿真规模化评估平台——上运行 DexBench，无需任何设置，内置失败分析功能，并为初始评估提供免费额度。

VABAR——面向智能体机器人技术的变分自动化基准测试（Variational Automation Benchmark for Agentic Robotics）——由 UC Berkeley 与 NVIDIA 推出，跨六项工业任务评估机器人。每项任务都带有标准化的变体、难度分级和成功指标。

一个模拟的工具分拣任务演示了 VABAR 如何评估机器人在工业工作流程中的操作技能。

智能体将技能转化为机器人程序

成功完成任务需要机器人协调多种技能，并在出现问题时进行调整。为这些多步骤任务构建可靠的程序仍然是一个挑战。

智能体机器人技术有助于解决这一挑战。

UC Berkeley 的新 Graph-as-Policy（GaP）框架使用智能体将单个技能连接成机器人程序。智能体使用 NVIDIA Isaac 开放仿真技术测试这些程序，并根据失败情况进行优化。这有助于研究人员用更少的数据扩大开发规模，同时保持程序的可解释性，便于工程师在部署前进行审查和验证。

GaP 利用智能体和仿真将单个机器人技能转化为协调动作，例如擦拭一根杆。

“对我来说，智能体机器人技术是自 1995 年互联网以来最激动人心的技术发展，”UC Berkeley 机器人学教授、VABAR 和 GaP 项目的负责人 Ken Goldberg 表示。

Ambi Robotics、Bosch Research 和 Siemens 都在探索将 GaP 用于其跨多种工业场景的智能体机器人工作流程。

欢迎参加 NVIDIA 在 CoRL 的活动了解更多。