跳到正文
Hugging Face Blog·· 3 小时前AI 评分50

SimReady Central 发布:面向机器人与 AI 工厂的 2000+ 开放仿真就绪 3D 资产库

Announcing SimReady Central: An Open Library of Simulation-Ready 3D Assets for Robotics and AI Factories

AI 导读

Hugging Face 与 NVIDIA 发布 SimReady Central Library,收录超过 2000 个自带碰撞几何、质量、摩擦等仿真属性的 OpenUSD 资产,供机器人训练环境和 AI 工厂数字孪生免登录使用。

正文 · AI 翻译

SimReady Central key visual

构建机器人仿真和高保真的AI 工厂数字孪生,需要的不仅仅是 3D 模型。开发者通常需要添加碰撞几何体、质量和摩擦力等属性。SimReady 资产是预先具备仿真工作流所需属性的 3D 模型,可以减少这类手动工作。

SimReady Central Library 在 Hugging Face 上汇集了 2,000 多个仿真就绪(SimReady)的 OpenUSD 资产,为开发者构建物理 AI 训练环境和 AI 工厂数字孪生提供了免费、无需审批的起点。该库包含各种基础设施和设备资产,从机械臂和夹持器到仓储设备、机架和冷却基础设施。开发者可以查看每项资产支持哪些功能,然后将来自不同供应商的资产组合到一个场景中。

设备制造商(OEM)现在可以按照 SimReady 要求准备和验证资产,并借助 SimReady Central Library 触达开发者,让他们的最终客户更快地测试和仿真场景,加速决策。这使得各行业能够围绕自己的产品构建仿真,同时管理自己的 Hugging Face 数据集。

我们将介绍资产达到 SimReady 标准需要具备什么,以及 OEM 如何向 SimReady Central Library 贡献资产,然后展示开发者如何使用这些资产构建机器人抓取与放置场景以及对比 AI 工厂布局。

资产达到 SimReady 标准需要具备什么?

SimReady 资产是预先具备仿真工作流所需属性的 OpenUSD 资产。精细的 3D 模型(例如 CAD)是一个很好的起点。但仿真还需要关于如何解释和使用该物体的额外信息。

对于机器人操作任务,这可能包括物体的质量、碰撞几何体和摩擦属性。对于 AI 工厂工作流,则可能包括设备几何体以及应用所需的电气或热学元数据。

OpenUSD 是一个开放、可扩展的框架,用于描述和组合 3D 场景。而要用这些场景来训练和评估自主机器,还需要有关物理行为、碰撞和传感器交互的信息。

SimReady Foundation 提供了规范、配置文件和验证工具,将这些要求明确化。配置文件定义了资产在特定用例中所需的功能与能力的逻辑分组。

image

图 1. SimReady Foundation 为特定仿真用例定义资产表示要求,而开发者库则帮助根据这些要求准备和验证 OpenUSD 资产。

根据资产和配置文件的不同,这些功能可以包括:

资产结构要素 其实现的用途
碰撞几何体和物理属性 在受支持的运行时中进行接触与物理仿真。
关节结构与限制 铰接式机器人和设备的运动。
语义标签 物体识别和带注释的合成数据。
材质和传感器属性 渲染和支持传感器仿真。

有关每个仿真用例的相关要求,请参阅 SimReady Foundation 要求与配置文件。开发者应从 SimReady Central 中选择配置文件与其工作流需求相匹配的资产,并将它们组合成一个 OpenUSD 场景。

为什么 OEM 要向 SimReady Central 发布资产?

OEM 可以将其 CAD 设备模型转换为 SimReady 资产,供围绕其产品构建仿真的开发者使用。SimReady Central Library 使这些资产可在 Hugging Face 上被发现,帮助制造商触达正在构建机器人仿真和 AI 工厂数字孪生的团队。

对于 Vertiv 等AI 工厂 OEM,该库提供了分发资产的途径,例如仓库设备机架、服务器机架、冷却设备和支持性基础设施,用于 AI 工厂数字孪生。开发者和前沿智能体可以将这些资产整合到 AI 工厂数字孪生中,复用其 SimReady 配置文件所指定的几何结构和属性。

对于 Comau、FANUC、Franka Robotics、Robotiq、Standard Bots 和 Universal Robots 等机器人 OEM,该库使机械臂和夹持器能够被构建训练和评估环境的团队发现。开发者可以将这些资产与工业设备相结合,构建仓库和工厂场景。

对于 Palatial 等仿真资产提供商,该库收录了与 NVIDIA Robotics 合作发布的 NVIDIA Robotics 1K Dataset,以及由文本、图像、扫描件、数据手册和 CAD 生成的复杂铰接式资产。开发者可以构建用于机器人训练和评估的资产与场景。

对于 LG Electronics (LGE) 这类开发家用机器人及其配套家电的OEM,该库提供了分享冰箱和洗碗机等资产的途径。开发者可以使用融合了 LGE 在家电和机器人领域经验的资产,构建用于机器人训练、评估和合成数据生成的家庭仿真环境。

对于 ForgeCAD 等AI 辅助 CAD 提供商,该库提供了带有高质量纹理的铰接式机器人道具,开发者可以用它们构建用于机器人感知与操作训练以及合成数据生成的环境。

如需贡献,OEM 可以使用 SimReady Central submission skill 针对相关 SimReady 配置文件验证资产、打包并提交,以纳入该库。

image

图 2:OEM 依据 SimReady 配置文件准备并验证 OpenUSD 资产,然后将资产提交至 SimReady Central。开发者和 AI 智能体在该库中发现资产,并用它们构建仿真环境。

使用 SimReady 资产构建仿真环境

SimReady Central 为机器人技术和工业领域的开发者提供了可复用的起点,用于构建机器人工作单元、工业环境和 AI 工厂数字孪生。开发者和 AI 智能体可以在 SimReady Central 中找到符合其工作流所需配置文件的资产,并将它们组合成 OpenUSD 环境。

开发者可以使用 SimReady 资产为训练环境填充物体和障碍物,然后改变它们的摆放位置来评估机器人行为。这些环境可以支持诸如 Microduck 这样的项目——它是 Hugging Face 和 Pollen Robotics 推出的开源机器人。

image

图 3:资产数据集通过 Hugging Face 上的 SimReady Central 连接,利用其 USD 搜索服务支持 Isaac 工作流、SimReady Central 库搜索和 AI 智能体工作流。

NVIDIA USD Search 为 SimReady Central Library 中的自然语言搜索提供支持,帮助开发者和 AI 智能体在参与的数据集之间查找资产。Hugging Face 也在其平台搜索中集成了 USD Search,并对 USD 属性和仿真元数据建立了索引,帮助智能体发现适合其物理 AI 仿真任务的 SimReady 资产。

AI 辅助创作提供了使用这些资产进行构建的另一种方式。开发者可以结合资产搜索和场景创作工具,使用 OpenAI 的 GPT-6 Astra 等前沿模型,通过 SimReady Central Library 构建环境。在给定任务需求和空间约束的情况下,Astra 可以帮助查找合适的资产、编写代码来组装场景,并创建场景变体。

OEM 也可以使用 Astra 来帮助按照 SimReady Foundation 要求准备和完善 OpenUSD 资产,然后再进行验证并提交到库中。

构建机器人抓取与放置场景

例如,构建机器人抓取与放置场景的开发者可以从这样的提示词开始:

使用 Hugging Face 上 SimReady Central 的 SimReady 资产,在 Isaac Sim 中使用 PhysX 创建一个基础的仓库抓取与放置场景。

使用 nvidia-simready-central.hf.space 查找一台 FANUC 机械臂、一个兼容的 Robotiq 夹爪以及合适的仓库资产。生成用于组装场景并配置抓取与放置任务的 Python 代码。渲染一个 .mov 预览以便我查看结果。

包含脚本、资产版本和运行时版本,以便我可以复现该场景。

在这个工作流中,我们期望 Astra 完成以下工作:

  • 查询 SimReady Search API 以查找分布在 Hugging Face 上的相关资产
  • 将它们以 Reference/Payload 方式引用到 OpenUSD stage 中
  • 生成 Python 代码以组装工作单元
  • 配置抓取与放置任务
  • 渲染一个预览供用户查看

HF - GIF

图 4. 由 SimReady 资产组装而成的机器人抓取与放置工作单元,展示了 AI 辅助场景创作如何将开发者的需求转化为可在 Isaac Sim 中查看和完善的仿真场景。

对比 AI 工厂布局

同样的方法可以支持构建 AI 工厂数字孪生的 ISV(独立软件开发商)。任务从机器人交互转变为设备摆放:在指定的空间约束内布置机架、冷却设备和配套基础设施。

使用 Hugging Face 上 SimReady Central 的 SimReady 资产,创建两种备选的 AI 工厂布局,包含机架和冷却设备。

使用提供的设备尺寸和通道净空要求。检查设备重叠和净空违规情况,并报告任何问题。

将每个布局保存为 OpenUSD 场景。包含场景构建脚本、资产版本和运行时版本,以便我可以复现和对比结果。

在这个工作流中,Astra 会将选定的 SimReady 资产组装成两个 OpenUSD 布局,随后生成脚本,根据提供的要求检查设备重叠和通道净空。开发者随后可以在其仿真应用中查看这些布局,对比设备摆放和访问路径,并在完善首选配置之前检查所有被标记的问题。

image

图 5. 由 SimReady 资产组装而成的 AI 工厂布局,展示了 AI 辅助场景创作如何在 OpenUSD 中支持设备摆放、通道净空检查和布局完善。

在这两个示例中,开发者都可以通过以下几种方式扩展他们的环境:

  • 复用环境:将布局与任务相关的改动保存在不同的 OpenUSD 图层中,使同一套源资产能够支持多个实验。
  • 变换场景:从库中引入更多资产,并调整物体摆放、设备配置或周边基础设施,以评估不同的条件。
  • 构建特定于应用的测试:对于机器人领域,在 Isaac Lab 中配置训练与评估任务。对于 AI 工厂,将场景连接到设备数据与仿真工具,以进行电力分配或散热性能等分析。
  • 将验证过的布局投入运营:对于 AI 工厂,将场景连接到实时的 BMS 与 IT 遥测数据,使数字孪生与 AI 工厂设施保持同步。

帮助塑造下一波资产

SimReady Central 的路线图包括更多 OEM 合作伙伴和不断增长的资产库,从而扩展开发者可以用可复用内容组装的设备与环境。

社区反馈将有助于确定哪些新增内容最为重要。请在评论中告诉我们你需要哪些资产、使用哪些运行时,以及在哪些地方遇到了集成缺口。

使用 资产提交指南 提交 OEM 资产,以便纳入 SimReady Central。

OEM 的贡献可以扩充可用内容,而开发者示例则可以展示资产在不同应用中的工作方式。请在评论中分享你的构建成果,并在 SimReady Foundation 中 提交 issue,报告 bug 或提出 SimReady 需求的功能请求。

在 Hugging Face 🤗 上开始构建

从 SimReady Central Library 中选择一个资产,用于你的下一个机器人仿真或 AI 工厂数字孪生。使用以下资源查找资产、构建场景或贡献设备模型。

发现资产

构建场景

准备并贡献内容

祝构建愉快,我们迫不及待想看到你的创作!

来源: Hugging Face Blog · huggingface.co