NVIDIA Cosmos 推出训练、评估与部署世界模型的新工具

为帮助开发者快速构建 世界模型——帮助 物理 AI 系统理解和模拟真实世界的模型——NVIDIA 通过新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图扩展了 Cosmos 平台。 

NVIDIA Cosmos 平台在六个不同的开源模型排行榜上均位列前五，为世界模型构建者提供前沿开源模型——以及数据、训练和优化工具与配方——以便在部署前扩展训练数据、适配模型、测试行为并优化性能。 

构建更好的训练数据

构建世界模型始于多模态、多感官数据。

NVIDIA Cosmos Data Factory 汇集了大规模标注、整理、增强和评估数据所需的各种工具与技能，用于训练物理 AI。Cosmos Curator 是一种 GPU 加速的视频训练数据集整理解决方案，现已新增对多模态多感官输入和处理模块的支持。

Cosmos Data Factory 现提供以下五个云原生蓝图，并可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取：

• 自动驾驶车辆数据集生成：整理并标注驾驶数据，然后添加难以采集场景的合成样本，以扩展训练覆盖范围。
• 图像属性增强：改变物体外观以改进图像搜索。
• 事件视频生成：将静态图像转化为罕见或不安全事件的合成视频。
• 缺陷图像生成：为检测模型生成印刷电路板、金属和玻璃的缺陷图像。
• 视频数据增强：在保留场景结构的同时改变现有视频素材中的天气和光照。

Cosmos Data Factory 利用智能体技能加速数据整理、处理和合成数据生成。

各公司已经在利用 Cosmos Data Factory 蓝图来加速其物理 AI 开发工作流程。 

Porsche 正在引领 Volkswagen Group 旗下品牌共享自动驾驶数据飞轮的开发，通过 Voxel51 在 Microsoft Azure 上使用 Cosmos Data Factory。这预计可减少高达 90% 的重复物理测试驾驶，并将开发周期缩短多达 85%。

Porsche 在 Voxel51 中搜索和增强自动驾驶车辆数据素材，由 Cosmos Data Factory 提供支持。

ANYbotics 使用 Cosmos Data Factory 蓝图生成了超过 1,500 个合成视频片段，整理真实世界数据并通过 Encord 的 平台验证输出，以训练其工业巡检机器人识别设施巡检之间的液体泄漏和其他变化。

ANYbotics 使用由 NVIDIA Cosmos Data Factory 提供支持的 Encord 生成异常片段。

Ultralytics 是一家计算机视觉公司，该公司使用真实图像和通过 Cosmos Data Factory 生成的针对性合成缺陷对 YOLO 模型进行了重新训练，从而提升了缺陷定位能力和召回率。

训练、适配和优化模型

准备好训练数据后，开发者可以训练自己的架构，或从预训练模型入手。

在 GTC Berlin 大会上，NVIDIA 将 Cosmos Framework 的训练、优化和部署工具与方案作为智能体技能扩展到了更多开放模型，并推出了 Cosmos 3，为世界模型开发者提供了从实验到部署的更快路径。

开发者和智能体现在可以通过微调和强化学习来适配 GR00T、Alpamayo、QWEN、Pi0.5 以及其他兼容的 Hugging Face 开放模型，利用蒸馏和量化优化模型，并通过高性能推理进行部署。

为了开发专用于第一人称操作的世界模型，机器人研究实验室 MicroAGI 使用人类操作物体的视频对 Cosmos 3 进行了后训练，并将其 320 亿参数的推理模型蒸馏为 80 亿参数的 Nano 模型，且没有损失精度。 

开发者可以标注数据，并在 Roboflow 上针对特定环境和任务对 Cosmos 3 进行后训练，然后将这些模型部署到 RoboFlow 托管或本地的 NVIDIA GPU 上，把视频推理带入工厂和仓库。

更快地测试策略和运行模型 

除了这些工具之外，NVIDIA 还通过对 Cosmos 模型的研究不断推进基础技术的发展。

面向仿真的全新 Cosmos 3 Nano 模型变体 使开发者能够在可重复、难以采集的多视角多传感器场景中测试自主策略。随附的代码允许开发者在真实世界测试之前，先在交互式仿真中适配这些模型，以训练和评估自己的自动驾驶车辆和双手机器人策略。

开发者可以使用更新后的 NVIDIA Cosmos 3 NIM 微服务部署核心 Cosmos 模型，在经过验证的配置下推理速度最高可提升 2 倍且不损失质量，同时持续视频分析可实现亚秒级警报。 

对于视觉 AI 开发者，基于 Cosmos NIM 微服务构建的全新 NVIDIA Metropolis 视频搜索与摘要 (VSS) 蓝图 3.3 可将一个提示词转化为高效的视频 AI 应用，并帮助团队用同一块 GPU 监控的视频流数量增加 40%。 

ADNOC 采用 Fogsphere 的 MistIQ 智能体平台，该平台基于 Cosmos 和 NVIDIA Metropolis VSS Blueprint 构建，可跨 65 个站点实时检测安全隐患。对于罕见事件，Fogsphere 还使用 Cosmos Data Factory 生成合成训练数据，无需实际布置危险场景即可提升检测能力。

Cosmos 平台完全模块化且开放。开发者可以使用 Cosmos Data Factory 生成训练数据集，使用 Cosmos Framework 训练和适配世界模型，然后通过 NIM 微服务部署受支持的 Cosmos 模型。