Google Research 提出 Agile Deliberation：用 AI 帮人类定义主观“灰色地带”

机器学习模型通过人类标注的样本学习识别我们周围的世界。这一过程隐含一个假设：标注者在开始之前，对所属类别已有清晰且稳定的定义。当训练模型处理客观类别（如停车标志或金毛寻回犬）时，这一假设成立，因为类别边界清晰且被普遍认可。然而在实践中，现实世界的应用常常要求视觉系统应对人类经验中主观的“灰色地带”。例如，设想训练一个视觉分类器来识别“健康食品”、策划“鼓舞人心的艺术作品”，或协助内容审核。在这些领域，类别边界可能并不普遍或固定，因为它们会随文化背景、个人理念或不断演变的运营政策而变化。此外，人们很少在开始时对主观概念拥有完整的规范，即使在他们自己的头脑中也是如此。相反，他们从一个对概念的直觉想法出发，只有在接触真实案例时，才逐渐发现概念真正的边界、例外和细微差别。传统训练流程无法应对这种 概念演进，迫使用户即便自己的心智模型仍在变化，也必须向 AI 系统提供僵化的标签。

为了弥合这一差距，我们推出了 Agile Deliberation，这是一个将主观 AI 分类器的创建视为迭代式对话的框架。Agile Deliberation 不再要求人类充当静态的数据标注者，而是将 AI 系统转变为一个协作伙伴，帮助用户“商议”并锐化他们自己的定义。通过首先化解人类的模糊性，该框架系统地构建出更有效、更稳健且更符合人类意图的 AI 系统。为了支持更广泛的研究社区，我们还在 GitHub 上开源了底层代码和算法。

这项工作的一个关键差异点在于其对真实用户体验的关注。由于标准的静态 AI 基准测试无法捕捉主观概念，我们放弃了模拟测试，在 18 场与人类参与者进行的 1.5 小时实时会话中对 Agile Deliberation 进行了评估。这使我们能够直接观察和测量人的意图在与智能系统配对时如何动态演化。我们发现，Agile Deliberation 通过用对边缘图像的直接反馈取代手动提示工程，大幅降低了用户的疲劳和焦虑，从而产生了比标准基线表现更一致、性能更高的 AI 模型。

工作原理：商议的两个阶段

Agile Deliberation 将定义主观概念这一复杂任务拆分为两个结构化阶段：概念划定和概念迭代。这两个阶段共同将一个模糊的想法转化为面向 AI 模型的高度精确的指令蓝图。

阶段 1：概念划定

当面对“健康食品”这样的宽泛主题时，人类的直觉自然难以事先列出所有规则。在概念划定阶段，系统引导用户将其总体概念分解为子概念和明确排除项的结构化层级。

例如，用户可以不使用单一的宽泛标签，而是将“健康食品”分解为“沙拉”、“谷物碗”和“瘦肉蛋白”等正向子类别。同时，他们可以定义明确的排除项，例如“加工食品”或“生的、未加工的食材”。这就创建了一个初始的结构化基线，为模型的理解提供依据。

阶段 2：概念迭代

在建立初始结构后，该框架从静态规划转向主动测试。传统机器学习假设人类标注者是心中已有一套完整明确规则的“神谕”。敏捷协商颠覆了这一前提，转而专注于协作式完善。

这个阶段的灵感来自主动学习，这是一种传统上用于检索有信息量的数据点以最大化机器训练效率的方法。然而，与主动学习中纯粹为了最小化机器不确定性而选择示例不同，敏捷协商使用视觉语言模型(VLM)主动挖掘并呈现语义上处于边界状态的图像，以挑战当前基于文本的定义。

例如，系统可能会展示一张水果奶昔的图片来挑战“健康饮食”概念，迫使用户做出决定：这算是一种健康饮品，因为它含有新鲜水果？还是因为含糖量高而应被排除为加工食品？

面对这些模糊的边缘案例，用户会反思自己隐藏的假设，澄清自己的真实意图，并相应地更新策略规则。这些人类反馈随后被直接输入到自动提示词优化循环中，确保 VLM 的分类边界与用户完善后的定义同步调整。

实验

评估主观视觉分类器面临一个根本性挑战：不存在静态、客观的真实标准可供衡量性能，因此，在预先标注的数据集上进行离线评估，无法衡量该框架在一个人对概念的心智模型于协商过程中发生变化时的适应程度。

为了捕捉这种动态性，我们构建了一个功能原型，并通过实时用户研究对其进行评估。我们进行了 18 场实时用户会话，每场持续 1.5 小时，参与者以随机顺序与我们的系统及替代基线进行交互，以防止学习偏差。

我们选择了两个复杂且高度主观的领域来测试这些系统的极限：

• 健康食品：在这个领域，个人健康理念、饮食限制和文化背景会产生高度多样化、主观的观点。
• 付费参与：一个现实世界的内容审核挑战，需要捕捉专家级的细微差别和特定背景。这涉及识别在线娱乐或游戏中承诺误导性金钱或数字奖励的标题党图片。

我们将敏捷协商与三种常见且截然不同的范式进行对比评估：

1. 零样本分类器：标准的“一次完成”方法。用户编写初始提示词，但无法查看边缘案例，也无法在模型误解边界时进行调整。
2. 建模协作者：一种自动化的自上而下的方法，由 AI 智能体尝试自行分解概念。虽然它会自动生成标准，但它将用户排除在流程之外，用户无法引导或纠正其逻辑。
3. 人工审议：当前繁琐的蛮力式流程，用户需要在电子表格中检查数据、猜测搜索查询以找出异常，并手动重写原始提示词。

结果

实时用户会话表明，Agile Deliberation 能产生性能更高的分类器模型，同时显著改善用户体验。

提升一致性与性能

我们发现，经过结构化审议流程的研究参与者在时间维度上表现出显著更高的标注一致性。通过尽早解决边界歧义，他们构建的分类器性能大幅超越所有标准基线。这些性能提升在最具挑战性的主观图像上最为显著——而这正是传统分类器通常失败的地方，因为它们依赖默认的、通用的 AI 假设，而非用户明确而细致的意图。

消除盲点

专家参与者报告称，该系统是一个有效的诊断工具。通过有意提供令人困惑的边界图像，这个 AI 系统帮助他们发现了初始定义中的"盲点"——在被呈现模糊的真实世界示例之前，他们未曾预料到这些场景。

缓解认知疲劳

我们实时研究的一个关键发现是手动提示工程带来的认知负担。研究显示，在手动概念审议过程中，用户在试图预测可能发现边缘案例的搜索词时会感到明显的认知疲劳。此外，他们还报告存在持续的焦虑：手动调整文本提示来修复一个错误，可能会无意中损害分类器中他们已经修复好的其他部分的性能。

Agile Deliberation 通过承担繁重的计算工作来化解这一摩擦。用户无需成为提示工程师；他们只需查看一个精选的边界图像画廊并提供自然反馈。系统会无缝吸收他们的意图并自动更新底层模型。

因此，使用 Agile Deliberation 的参与者报告称压力感、挫败感和精神疲惫感显著降低，且每位参与者都表示相比手动方法更偏好 Agile Deliberation。

结论

归根结底，Agile Deliberation 将人在环机器学习的范式从单行道——AI 系统仅仅从人类标签中学习——转变为人类与 AI 共同精炼概念的双向协作。

随着机器学习系统被越来越多地部署以处理复杂的现实世界社会任务，确保其边界反映细致入微的主观概念至关重要。无论是助力信任与安全团队构建更安全的内容审核过滤器，帮助策展人塑造数字馆藏，还是协助科学家对复杂视觉数据进行分类，Agile Deliberation 都为人机对齐奠定了基础。

要了解底层的主动学习技术以及我们的范围界定与聚类算法的技术实现，请阅读我们的论文，并查看 GitHub 上的开源实现。要开始上手，请查看我们的交互式 Colab/Jupyter 演示，逐步体验本文中的“健康食品”示例。在此基础上，你可以将其适配到任何你熟悉的领域（例如标记误导性标题党），或者围绕你自己的主观品味和标准构建个性化分类器（例如策划“鼓舞人心的艺术作品”）。

致谢

我们要感谢我们的合作者——Wei Qiao、Thomas Denby、Krishnamurthy Viswanathan、Enming Luo、Chun-Ta Lu、Tushar Dogra、Ranjay Krishna 和 Ariel Fuxman——感谢他们为这项工作及配套论文提供的宝贵见解与贡献。这项研究得益于 Google Research 与 Google Ads 之间的紧密合作。