Google 推出 StreamVibe：让视频 AI 主动判断用户何时需要帮助

Google 领导的研究团队推出了 StreamVibe,一个可以自行决定何时开口的视频智能体。测试结果首先表明,这对当今的 AI 模型来说仍然有多难。

来自 Google、斯坦福、牛津以及美国多所大学的研究人员正在开发一个助手,它能观察你做饭或组装家具,并只在需要时开口。通过 StreamVibe,他们构建了一个视频智能体,旨在理解甚至模糊的请求,例如“如果我遇到困难,请帮助我”。

根据论文,现有的视频助手是为“水开了告诉我”这类明确的指令而设计的,因此很少能领会未明说的意图。它们也难以追踪已经完成了什么,导致重复建议或回应过晚,而且当用户中途改变请求时,助手往往固守原始指令。

Diagram showing how StreamVibe distinguishes between explicitly stated, unspoken, and changing user intentions during a task — StreamVibe 区分任务中明确表达的、未明说的和不断变化的用户意图。| 图片:Google Deepmind

打造更贴心助手的三大构建模块

为了衡量这个问题,团队编制了一个基准,包含来自 183 小时以上日常生活和软件录屏的大约 4,100 个示例。Gemini 2.5 Flash 建议何时提供帮助以及说什么,而四名人类评估者必须一致批准每个示例。该测试涵盖三个阶段,包括明确指令、模糊目标以及随时间变化的请求。在一个示例中,一个正在拆卸玩具挖掘机的用户先要求进度更新,三分钟后又转而要求进行质量检查。

在此基础上,研究人员训练了 StreamVibe-VL,该模型显然基于阿里巴巴的 Qwen3.5-9B,每秒决定保持沉默还是开口。第二个训练阶段使用强化学习让模型更加克制,避免不断打断。一个独立的记忆系统追踪哪些请求待处理、哪些步骤已完成,不过是否开口以及说什么仍由模型自行决定。

Diagram of StreamVibe's architecture: a separate memory system tracks requests and task status while the model decides when and what to say. — 一个独立的系统追踪请求和任务状态,而模型本身决定何时说、说什么。| 图片:Google Deepmind

所有被测模型在持续运行中都会跟不上对话

据研究人员称,StreamVibe-VL 比其他模型将回应的时机和质量提升了 10.7%,而记忆系统旨在将主动交互再提升 12.3%,并减少不必要的打断等。

StreamVibe-VL 总体上大幅领先其基础模型和其他开源模型,不过 Google 的专有模型 Gemini 3.8 Flash 在若干测试中得分更高。论文称,专项训练并不损害通用视频理解能力。

Chart showing that as video length increases, models are significantly less likely to time responses correctly, with the harness mainly reducing unnecessary interruptions. — 随着视频长度增加,模型正确把握回应时机的可能性显著下降;该框架主要减少不必要的打断。| 图片:Google Deepmind

模型在只需在特定时刻判断提示是否合适时往往能做出正确的决定。但当它们处理整个视频并需要基于自己此前的回答继续操作时，所有受测系统的性能都会随着错误的累积而大幅下滑，并且基于系统自身的历史记录，回答的一个关键内容指标下降幅度高达 61.5%。在超过五分钟的视频中，模型很少能选对时机，尤其难以在较长时间跨度内追踪已更改的指令。

在论文和项目页面中记录的一篇关于将照片转换为黑白效果的 GIMP 教程中，对比模型 JoyAI 声称成品图像已经保存，而用户尚未打开它；而 StreamVibe-VL 则在正确的时刻给出下一步操作，例如"Colors"，然后是"Desaturate"。在一个涂果酱卷吐司的分步指南中，其他模型只是描述屏幕上正在发生的事情，例如面包正在被压平，而 StreamVibe-VL 则建议先切掉面包皮。

Side-by-side comparison showing that while other models only describe on-screen action, StreamVibe provides specific next steps during a task. — 对比模型往往只是描述视频中正在发生的事情，而 StreamVibe 提供具体的下一步操作。| 图片：Google

研究人员承认，现实世界的场景可能比他们的测试设置更复杂，未来的工作将研究用户偏好与环境如何随时间相互影响。

Google 研究主动分析视频的 AI 系统已经有一段时间了。今年 9 月，Google 为 Gemini 推出了基于智能体的视频分析，由模型自身决定要更仔细地检查哪些场景。通过 Gemini 4 Argon，Google 最近还展示了 AI 如何在机器人视频中追踪更长的动作序列并发现错误。StreamVibe 的助手旨在理解任意时刻正在发生什么，并识别何时真正需要它的帮助。

在 ProactiveBench 基准测试中，当视觉信息缺失时，AI 模型往往猜测或拒绝回答，而不是提出具体问题。另一项视频理解基准测试揭示了模型在空间和时间推理方面的重大弱点。而对于自主智能体来说，对话本身可能会损害性能，正如微软研究人员所展示的那样。