Runway 开源机器人模型 Praxis-1，用视频预训练控制真实机械臂

AI 公司 Runway 已开放权重和源代码发布其机器人模型 Praxis-1。该模型利用从视频中学到的知识来控制机器人，并在公司自己的测试中展现出令人期待的结果。

Runway 已发布其用于控制机器人的 AI 模型 Praxis-1。该公司于 9 月底首次介绍了 Praxis-1，但最初仅向部分合作伙伴开放。随此次发布，Runway 还发布了包含新性能测试的详细研究报告。

Runway 的模型权重和源代码以 Apache 2.0 许可证发布，允许商业使用。

Praxis-1 接收摄像头图像、文本指令以及机器人位置信息。基于这些输入，它预测环境将如何变化，并计算出正确的机器人动作。随着新的摄像头画面不断输入，模型会持续调整其控制。

Praxis-1 基于视频训练来控制机器人

Praxis-1 建立在视频模型的基础上，该模型从普通视频素材中学习了物体的运动和交互方式。Runway 随后用人类动作的视频和机器人数据对其进行了微调。这种方法可以减少对昂贵的机器人专用数据集的需求，而这类数据集传统上只是为了训练此类系统而收集的。

Runway 以 Gen-4.5 等生成式视频模型而闻名。通过 Praxis-1，该公司正将其视频研究带入机器人领域。Runway 称 Praxis-1 为世界动作模型，它预测场景将如何变化，并从这些预测中推导出相应的机器人动作。自 9 月以来，机器人公司 Standard Bots、Noble Machines 和 Ultra 一直在不同系统上测试 Praxis-1，包括一台人形机器人、一台工业机械臂和一台双臂仓储机器人。

Praxis-1 在世界动作模型中领先

Praxis-1 仍需要一些专门的机器人数据。根据其研究报告，为了将其适配到 Franka 机械臂上，Runway 使用了公开的 DROID 研究数据集中约 277 小时的录像。这些录像展示了机器人抓取和移动物体等操作。对于一台双臂机器人，该公司使用了 1400 到 2600 小时的训练素材。Runway 在更早的训练阶段已经使用了 DROID 数据和其他机器人系统的数据。这种方法总体上是否真的比没有通用视频预训练的同类模型需要更少的机器人数据，仍是一个悬而未决的问题。

在Nvidia 的 RoboLab-120 排行榜上，Praxis-1 的成功率为 46.2%。该基准测试衡量机器人模型在模拟环境中跨 120 个任务对物体进行分类、抓取或堆叠的可靠程度。FLUX 3 Action 同样作为世界动作模型构建，在相同测试条件下得分为 42.9%。这使得 Praxis-1 在世界动作模型类别中位居榜首。在总排行榜中，它排名第五，落后于两个智能体和两个采用不同架构的机器人模型。Runway 自己运行了所有测试，结果尚未经过独立验证。

在 DROID 数据上微调后，Runway 在真实的 Franka 机械臂上测试了该模型。两个模型都必须完成相同的十个任务，比如把香蕉放到盘子上或关上抽屉。每个任务尝试十次，Praxis-1 成功了 88 次，而 FLUX 3 Action 成功了 80 次。

Runway 还测试了 Praxis-1 迁移到一种它从未见过的机器人类型的表现，所用数据来自 Google 此前用于开发 RT-1 的、配备夹持臂的移动机器人平台。这台机器人的录像并未包含在 Praxis-1 早期的训练数据中。根据 Runway 的说法，在约 95 小时的机器人数据上微调后，该模型在模拟测试中达到了 80% 的平均成功率。测试涵盖四类任务，包括抓取汽水罐、开关抽屉，以及把苹果放进抽屉。Google 最初的 RT-1 模型在同一基准上的成绩为 52.4%。

Praxis-1 仍有明显局限

开发者注册并同意访问条款后，可以从 Hugging Face 下载 Praxis-1。代码发布在 GitHub 上。根据 Runway 的公告，除基础模型外，针对不同机器人的预适配版本也已提供。基础模型需要额外训练才能用于新的机器人系统。

标准模型版本需要配备 80 GB 显存的 GPU。根据 Runway 的内存估算，压缩版应能装进配备 32 GB 显存的 RTX 5090，不过 GitHub 文档指出，实际的峰值内存占用尚未测量。

根据 Runway 的研究报告，该模型有时会混淆外观相似的物体，并且在处理模糊指令时表现不佳。对于较长的任务，需要逐步明确说明各个步骤，因为 Praxis-1 目前还无法可靠地自行规划复杂的动作序列。

Runway 主要将 Praxis-1 视为快速执行机器人动作的系统。未来，它可以与将复杂任务拆解为各个步骤的通用 AI 模型协同工作。

没有炒作的 AI 新闻 – 由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六期独家"AI Radar"前沿报告、完整档案访问权限，以及评论区的发言权限。