Hugging Face 政策负责人：嵌入式 AI 评估员并非易事

各大 AI 实验室都把声誉押在了模型基准测试上——这套本应中立且准确的评估体系，旨在衡量某一款 AI 产品是否优于另一款。

然而，Hugging Face 首席政策官 Irene Solaiman 在上周 TechCrunch Disrupt 的一场讨论中表示，这些评估背后的方法复杂且仍在成熟中。如果整个行业未来要依赖这些测试，它们就需要整合成一门更一致的科学。

有鉴于此，我们能否信任目前正在发布的这些测试？

“‘信任’是一个分量很重的词，”Solaiman 说。“至于我们能否信任结果，其中很重要的一点是：你能否复现一次评估的结果？你对模型本身是否拥有所需的访问权限——这正是开放权重大显身手的地方，”她补充道。

长期以来，模型评估的可复现性一直是基准测试中最棘手的方面之一，也仍是行业内激烈争论的话题。

除了单个测试本身的有效性之外，还有一个额外的问题：该测试与其他评估相比表现如何。

“它们是一门不断演变的科学——我们还不知道如何有意义地将它们相互比较，”Solaiman 说。

“它们很快就变得低效，而且我们并没有一个像所需那样繁荣的生态系统，”她补充道。“现在人们渴望一个嵌入式评估者生态系统，但决定谁才是跨各类任务的有效评估者的资质标准，还需要大幅度的统一。”

嵌入式评估者的理念——即把名义上“中立”的第三方观察者安插到 AI 组织内部——在过去几个月里逐渐流行起来，因为各大 AI 实验室正在应对一连串安全事件，这些事件引发了人们对其技术潜在危害的担忧。Hugging Face 正是其中一起事件的著名目标。

各实验室推动的是第三方解决方案，而非由政府积极监管来识别和缓解模型安全问题。然而，这些评估者实际上会有多么中立或有效，仍存在疑问。Anthropic 决定聘请埃森哲（Accenture）作为其首个评估者，引发了不少反弹，一些批评者嘲讽道，这家咨询公司是否有资格胜任这项任务。

如今，评估正在从仅仅测试模型本身，转变为测试围绕模型的整个系统——包括 harness（测试框架）和智能体。Solaiman 分享道，具体来说，harness——即用户用来访问模型的工具——与模型的表现有很大关系，一个较弱的模型配上更好的 harness，可以轻松超越前沿模型。

“智能体评估真的很难，而且成本很高，”Solaiman 说。“针对模型的评估我们有了更多。……但针对 harness 的评估还不够多，我们正在为整体智能体开发更好的评估——因为许多人正是从中获得价值的，”她补充道。

换句话说：评估领域目前处于一种各自为战的状态，如果基准测试要继续被视为行业领袖的有用工具，那么可能就需要一种更统一的全行业方法——让所有人达成共识。

当您通过我们文章中的链接进行购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Lucas 是 TechCrunch 的资深撰稿人，主要报道人工智能、消费科技和初创公司。他此前曾在 Gizmodo 报道 AI 和网络安全。您可以通过发送电子邮件至 [email protected] 联系 Lucas。