Microsoft 构建 Industry Evaluation Data Generation Platform：用合成企业数据评测 Copilot

Illustration on a purple and blue gradient background showing three white line icons: a hierarchical organizational chart, a checklist with checkmarks, and a shield. The icons visually represent structured data, evaluation criteria, and security or trustworthiness.

概览

在企业规模上评估 Microsoft Copilot 需要能够捕捉真实组织全部复杂性的测试数据，但真实的企业数据包含敏感信息，在任何情况下都不能用于评估。
为了解决这一矛盾，我们构建了 Industry Evaluation Data Generation Platform：基于 O*NET 职业数据、在线招聘信息和 SEC 文件等公开可用的真实数据源，构建全面规模的合成企业环境。
这些合成环境模拟真实的业务工作流，帮助 Microsoft 发现通用基准测试会遗漏的问题。
该平台在设计上内置了安全与隐私保护。每个环境都是完全合成的，自动化内容安全检查确保生成的数据不含有害或个人身份信息。

每天，全球数百万知识工作者依靠 Microsoft Copilot 来起草文档、总结会议、呈现相关信息并提升工作效率。在这背后，是一整套 AI 系统网络在支撑，而确保它们按预期工作，需要一种深思熟虑的评估方法。在 Microsoft，我们深知高性能并非来自猜测，而是来自持续不断的测试、度量和迭代。

医疗保健组织需要不断整合来自各个团队的安全信号，以便更快、更好地做出直接影响患者结局和监管信心的决策。

他们可能要求 Copilot 总结一次会议并为团队提取行动项。几秒钟内，Copilot 就会交付一份结构化摘要，引用会议记录中的具体讨论要点。但我们如何确保这一回应准确、完整，并恰当地基于会议内容？这正是我们的评估系统发挥作用的地方。

我们开发了一套名为 Industry Evaluation Data Generation Platform 的结构化评估策略，其中包含行业特定的评估数据集，旨在基于现实的企业场景测试 AI 系统，它建立在三大核心支柱之上：

合成企业环境：模拟的 Microsoft Copilot 环境，包含逼真的用户、会议、电子邮件、文档和组织结构，重现真实组织的复杂性，且不使用任何客户数据
自动化查询生成管道，用于快速、可复现地创建评估数据集
结构化质量框架，确保合成数据达到有意义评估的标准

Figure 1: Components of Industry Evaluation Data Generation Platform — 图 1：Industry Evaluation Data Generation Platform 的组成部分

这些支柱共同帮助我们回答两个根本问题：Microsoft Copilot 是否真正在做用户需要它做的事情，以及我们能否在不接触用户数据的前提下证明这一点？

在这篇博文中，我们将详细介绍我们的评估系统和流程，从合成环境的生成到自动化查询管道，以及这一切如何汇聚起来，为 Microsoft Copilot 建立首个标准化评估基线。

合成企业环境

评估企业级 AI 需要能够捕捉真实组织全部复杂性的测试数据：汇报结构、项目历史、沟通模式以及特定领域的工作流程。但真实的企业数据包含敏感信息，在任何情况下都不能用于评估。这正是我们着手解决的核心矛盾。

我们没有依赖小型的人工策划测试夹具，而是生成全尺寸合成环境：模拟的企业工作区，每个都具备真实的组织结构、沟通历史和工作产物。按照 Microsoft 的术语，每个模拟工作区称为一个“租户”（tenant）。租户是一个隔离的组织环境，拥有自己的用户、数据和配置。这些环境是可扩展的基线，团队和组织可以在此基础上随意构建。它们旨在展现与真实企业 AI 评估相同的结构和行为特征。

以真实世界信号为基础

为确保合成环境的真实性，我们以公开可用的真实世界数据源为基础。

美国劳工部职业数据库中的 O*NET 数据用于使合成员工的角色与职责真实可信，校准分配给不同角色的工作活动的组合与频率，并定制特定行业的工作流程，例如临床试验评审或投资组合更新。
在线招聘信息提供真实的职位名称、汇报层级和部门构成。
SEC 备案文件提供组织规模、业务单元结构和财务背景。所有这些数据源均为公开可用，并已通过 Microsoft 法务与政策部门的审核和批准。

Figure 2: Real signals from public datasets that are used to ground the evaluation data generation — 图 2：用于支撑评估数据生成的公开数据集中的真实信号

重要的是，这些合成环境并非静态快照。它们模拟动态的、随时间演变的组织，包含会议历史、项目时间线、延续数周的邮件往来，以及自然展开的组织变革。这一时间维度至关重要，因为大量 Copilot 查询本身就具有时间感知特性。诸如“团队上周四决定了什么？”或“自上次季度评审以来有什么变化？”这类问题，只有当底层数据具有真实的时间结构时，才能产生有意义的评估。

特定行业模拟

我们生成了三个跨多个行业的合成环境，每个都具有反映真实世界使用方式的独特特征：

一个制药环境，包含监管申报工作流程、临床试验讨论以及跨职能安全评审会议
一个资本市场环境，包含交易流水线、合规沟通和客户投资组合评审
一家 IT/软件公司，模拟冲刺规划、代码评审讨论和产品发布协调

Figure 3: Industries targeted for industry evaluation data generation — 图 3：用于特定行业评估数据生成的目标行业

这种行业针对性确保我们的评估查询用这些领域的真实用户实际会问的问题来测试 Copilot，而不是依赖可能无法暴露特定领域故障模式的通用测试用例。

自动化查询生成

合成环境虽然为评估提供了基础，但仍面临一个关键限制：我们还需要真实的评估查询。这些问题用于检验 Copilot 能否找到正确的信息、正确地进行综合，并以有帮助的方式呈现。手动编写成千上万条基于事实、针对特定行业的查询既极其昂贵又十分缓慢。这正是我们的自动化流水线发挥作用的地方。

六阶段流水线

Figure 4: Query customization pipeline that turns generic query templates into realistic, industry-specific queries — 图 4：查询定制流水线，将通用查询模板转化为真实的、针对特定行业的查询

我们构建了一条自动化流水线，将简单的通用查询想法转化为 Copilot 的真实的、针对特定行业的问题。它从一个庞大的常见职场任务库开始，将其缩小到与特定行业相关的内容，并使用领域专用语言和上下文进行调整。然后，系统使用 AI 基于合成环境的数据生成查询，重写它们使其听起来更自然、更像人类，并对每一条查询进行准确性和唯一性验证。最终得到一套丰富的高质量、逼真的查询，能够对 Copilot 在真实世界场景中进行可扩展且可靠的评估。

验证合成质量

当然，生成合成数据只是挑战的一部分。我们还需要确保数据足够好，才能产生有意义的评估。我们使用内部语义评估框架来评估合成环境的质量，该框架从三个维度衡量质量：

结构保真度：组织结构是否反映真实的汇报层级、团队规模和跨职能关系？
上下文相关性：查询和工作流是否代表实际的企业使用模式？
行为真实性：模拟用户是否表现出类人的沟通模式和协作动态？
内容安全性：生成的内容是否不含有害、冒犯性或可识别个人身份的材料，并且是否避免冒充真实个人？

端到端自动化

虽然我们的合成环境和查询流水线提供了方法论，但在没有适当自动化机制的情况下，它们面临若干实际限制，包括：

可复现性：手动流程每次产生的结果都有细微差异，使得跨版本比较评估变得困难。
规模：行业垂直领域和配置变体的数量超出了任何团队合理手工生产的范围。
迭代速度：手动创建需要数天时间，延误了关键反馈并拖慢开发周期。
跨团队一致性：没有标准化的工具，不同团队会产出格式和质量水平不兼容的评估数据集。

这一自动化将评估数据集的创建从数天的手动流程转变为自动化运行。我们估计每个评估数据集约节省 100,000 美元，整个项目总共节省 300,000 美元。但更重要的成果是，现在任何团队都可以从相同的配置重新生成评估数据集并获得完全一致的结果。

Microsoft Research 故事

OptiMind：当系统遇上车间现场

在中西部一家灌瓶厂为期三个月的试点展示了当 AI 超越聊天、进入决策领域时会发生什么——在这里，约束条件不断变化，风险真实存在，答案必须经得起考验。

从设计出发保障隐私与安全

企业级评估需要的不只是良好的方法论。它需要一种隐私姿态，让团队能够快速行动而不损害用户信任。我们行业评估数据集的一条不可妥协的设计原则是：流水线的任何阶段都不使用真实的客户数据。从组织结构到电子邮件内容再到会议记录，每个元素都是合成生成的，没有任何客户数据输入。由于这些数据既是完全合成的，又经过安全筛查，团队可以广泛地共享和复用它们，而不会引入声誉、合规或负责任 AI 方面的风险。

我们的保障措施包括：在引用真实世界统计分布时采用隐私保护聚合技术、对所有公开数据源进行专家法律审查和批准，以及在整个流水线中进行清晰的数据来源和谱系追踪。

这意味着 Microsoft 内部各团队可以自由地将这些评估数据集用于实验、基准测试和回归测试，而无需承担隐私审查的开销或数据处理限制，这些本会拖慢迭代速度。隐私设计并不是对系统的约束，它正是让广泛采用成为可能的关键。

成果与影响

自启动该项目以来，我们观察到多个维度上的显著改进。

在合成数据质量方面，我们的内部评分系统显示，所生成数据在结构、上下文和统计保真度方面获得了显著的质量提升。在我们的综合质量指标（衡量合成数据与真实企业环境的复杂性和模式的贴近程度）上，与最初的生成方法相比，分数提高了 39%。一些行业特定的环境质量分数超过 1.0 分制中的 0.9，表明聚焦领域的生成能够产生高度逼真的评估环境。这些改进部分来自引入真实的行业信号，部分来自通过关键综合质量指标实现的质量改进自动化，这些指标有助于提升我们的合成行业环境的结构完整性、上下文一致性和统计多样性。

在规模与效率方面，每个合成环境现在包含数百名用户在三个行业垂直领域的完整通信历史。评估数据集的创建已从耗时数天的手工工作转变为自动化流水线运行。

在组织采用方面，我们的行业评估数据生成平台已发布到内部共享目录以供跨团队复用，并被确立为 Microsoft Copilot 的首个标准化评估基线。这种差异不只是渐进式的。它是团队评估方式的转变：从临时性、手动的流程转向标准化、可复现的基础设施。

结语

随着我们不断扩展 Microsoft Copilot 的能力，从单轮问答到智能体式多步骤工作流，对评估的承诺始终是我们方法的核心。在企业 AI 中，质量不仅仅关乎准确性或速度，更关乎信任。组织需要确信 AI 系统能够正确处理他们的信息，而这种信心只能来自全面、可重复的评估。这种信任建立在贯穿我们所构建一切的两个承诺之上：严格的隐私保护和主动的内容安全。

展望未来，Microsoft Copilot 正在应对更加激动人心的评估挑战：我们如何评估多轮智能体交互的质量？我们如何扩展合成环境，以捕捉历经数月或数年演变的组织动态？我们如何为那些不仅生成文本、还能采取行动的 AI 系统构建评估框架？这些正是我们团队接下来要研究的问题。

在 Microsoft，我们不仅仅是在构建 AI。我们更是在构建基础设施，以确保 AI 能够在每一家企业、每一个行业、每一种规模下可靠地运行。

感谢所有为 Industry Evaluation Datasets 付出努力的人！