Nvidia 开源机器人视频标注引擎 Flora，称成本比 GPT-6 Astra 低约 125 倍

将一小时的机器人视频标注成本从 88 美元降至 72 美分，这正是 Nvidia 凭借其开放数据引擎 Flora 所承诺的。但与 GPT-6 Astra 的对比其实并不像价格标签显示的那样悬殊。

用于机器人的大型 AI 模型需要从带有文本标注的视频中学习，而根据 Nvidia 的 GEAR 研究实验室的说法，这需要三类标注。第一，描述视频中何时发生了什么动作，用于筛选训练数据。第二，对机器人逐步推进表现的评分，使其能够通过试错来学习。第三，判断一项任务是否成功完成，用于在部署期间监控机器人。现有的大多数工具只能提供其中一种标注。像 GPT-6 Astra 这样的大型语言模型可以生成多种标注，但对于如此海量的视频来说，它们实在太贵了。

alt: Overview graphic of Flora's five capabilities, including a robot stacking cups into a pyramid, a timeline with segments A through G, example captions, and examples of outcome, process, and rubric rewards. — Flora 将视频拆分为时间段，描述每个动作，并对一段情节的执行过程和结果进行评估。| 图片来源：Nvidia

根据论文，Flora 覆盖了全部三类标注。Nvidia 表示，该系统已经在训练其 GR00T 模型期间运行，每天通过 512 块 GB300 GPU 标注多达 20 万小时的视频。这些模型已在 Hugging Face 上发布。

Flora 由三个经过微调的 Qwen3.5 模型组成。一个 9B 模型将视频切分为动作片段，一个 27B 模型在考虑每个动作前后发生的事情的情况下对其进行描述。另一个名为 Flora-Rewarder 的 27B 模型根据提示承担三种角色。它按 1 到 5 的等级为一段情节的成功程度打分，将每个半秒步骤归类为正常、次优或失败，并根据自定义的评分细则给出分数。

alt: Diagram of the Flora pipeline showing an episode video branching into timestamped captions via overlapping windows and into reward labels with dense, outcome, and rubric scores. — 一个分割模型和一个字幕模型生成带时间戳的描述，而单个奖励模型生成全部三种类型的评分。| 图片来源：Nvidia

按 Nvidia 自己的估算，成本最多降低 125 倍

在包含 50 个视频的测试中，Nvidia 称 Flora 的得分略高于 GPT-6 Astra，尽管 OpenAI 的模型被允许使用其全部推理能力。据 Nvidia 估算，使用 Flora 标注一小时视频的成本约为 72 美分，而使用 GPT-6 Astra 则约为 88.50 美元。Claude Opus 5 在同一测试中的得分差得多，但每小时成本仍约为 42 美元。

alt: Scatter plot comparing annotation quality in percent against cost per source video hour in US dollars on a logarithmic scale, with Flora in the upper left ahead of GPT-6 Astra, Claude Opus 5, Gemini, and other models. — 据 Nvidia 称，Flora 以每视频小时 0.72 美元的成本达到 57.1% 的标注质量，而 GPT-6 Astra 以 88.49 美元达到 53.7%。| 图片来源：Nvidia

不过，Flora 的成本数字是推算值，并非生产环境实测数据。Nvidia 是基于每 GPU 每小时 10 美元的假设租用价格计算得出的。

Flora 更擅长发现动作，但 Astra 往往描述得更精确

在公开的 WGO-Bench 上，Flora 最擅长检测动作边界，但在总分上落后于 Astra，并且在纯描述准确性上落后于 Gemini 3.8 Flash。据研究人员介绍，其优势主要来自时间定位。

在 Nvidia 自己的 DenseCaptionBench 上，Flora 在人类录制的所有指标上都领先，但对于机器人视频，该模型排在 Astra 之后位列第二。研究人员也承认存在一个方法论上的问题：GPT-6 Astra 既参与评测描述，又是被测模型之一。

alt: Six bar charts comparing Flora with GPT-6 Astra, GPT-5.6 Sol, Gemini 3.8 Flash, and Kimi K3 on timestamped captions and reward annotations. — Flora 在人类录制、结果评分和逐步评分上领先，而 GPT-6 Astra 在 WGO-Bench、机器人视频和评分细则打分上获胜。| 图片来源：Nvidia

几乎没有其他模型能捕捉到情节中途的错误

在 RoboRewardBench 上，Flora 的错误率比 Astra 低 27.8%。论文将这一差距归因于部分完成的任务。当机器人只是把瓶子碰倒而不是碰下桌子时，Flora 会给出 5 分中的 3 分以匹配人类参考，而 Astra 只给 1 分。

Flora-Rewarder 能在一个回合内捕捉到 53.3% 的失败步骤，而所有竞争模型没有一个超过 11.7%，Astra 更是一个都捕捉不到。代价是 Flora 会将约 11% 的正常步骤误判为错误。在基于评分标准的打分和轨迹排序方面，Astra 仍然领先。

在手部动作很多且短促的视频中，Flora 能识别出 37 个单独动作中的 34 个，而 Astra 只捕捉到 4 个。另一方面，Flora 有时会把较长的动作拆分成过多的小步骤，偶尔也会出现描述错误。在一个视频中，机器人手用布擦拭盘子，但 Flora 将其描述为折叠餐巾。

alt: Comparison of Flora and GPT-6 Astra with timelines of detected actions, video stills of hands wiring and passing tea leaves, and examples of a failed toy airplane assembly and a tipped bottle. — 在一个示例回合中，Flora 识别出 37 个参考动作中的 34 个，而 GPT-6 Astra 只捕捉到 4 个。 | 图片来源：Nvidia

Nvidia 将 Flora 定位为Scale AI 的 Physical AI Data Engine 等商业服务的开源替代方案。研究人员可以用它扩展自己的机器人数据集，并测试诸如将人类演示迁移到机器人上的方法。Nvidia 正在向开源 AI 模型投入数十亿美元，以将开发者留在其硬件生态系统中并推动其芯片需求，而 Flora 正是服务于这一目标。

该公司还一直在努力通过仿真和自动化数据处理来弥补机器人训练数据的短缺。在今年早些时候的GTC 大会上，Nvidia 展示了一条自动准备、扩充和评分训练素材的数据流水线。Flora 为该流水线添加了来自视频的详细标签和奖励信号。

这一切都服务于Nvidia 覆盖整个机器人价值链的战略，从硬件和训练数据到仿真和 AI 模型本身。Google 最近发布的 Gemini 4 Argon 也瞄准了机器人训练流程中类似的部分，同样能在训练视频中识别工作步骤并标记失败的动作。