Anthropic 开源 FlashProve 系统，用密码学证明验证 AI 模型身份
Anthropic is working on a system to prove AI models’ identity
Anthropic 发布开源系统 FlashProve，通过密码学证明验证给定输出确实来自某个特定模型，即所谓可证明推理。系统要求实验室发布模型指纹，指纹不泄露权重，可防止偷换便宜模型或冒用高级模型名义，并支持在本地设备完成验证；技术规范和代码已在 GitHub 开源，目前仅为研究中期进展，尚无部署计划。
根据周二发布的一篇博客文章，Anthropic 正在开发一个开源系统，用于验证某个给定的输出是由哪个 AI 模型生成的。该系统名为 FlashProve，旨在提供研究人员所说的“可证明推理”——一种加密证明，本质上是一种数学保证，证明某个给定的输出来自特定模型。它的目的是让用户确认自己收到的答案确实来自他们认为正在使用的那个模型。
类似于让收件人确认邮件确实来自其声称发件人的加密电子邮件签名，FlashProve 能够抵御试图将一个模型伪装成另一个模型的冒充者，即使冒充者正是构建并运营该模型的实验室。研究人员特别指出，该系统可用于防止 AI 公司为削减成本而暗中换用更便宜的模型，或为夸大性能结果而换用更昂贵的模型。
FlashProve 还可用于验证第三方声称某项特定任务是由先进模型完成的说法。“开发者可能会声称他们的软件库已由一个前沿网络安全模型扫描过漏洞，或者一家公司可能会声称其商业计划已获得某个合适模型的批准，”研究人员写道。“用户如何验证这些说法呢？”
为了正常工作，该系统要求 AI 实验室为其发布的每个模型公开一个“指纹”，之后可将该指纹与特定输出进行匹配并进行加密验证。至关重要的是，这些指纹不会泄露模型的权重——即定义模型行为的内部数字，Anthropic 和 OpenAI 等闭源模型制造商对此保密。这意味着实验室可以在不交出其最宝贵资产的情况下公开指纹，从而使该系统也能与商业模型配合使用。该系统的设计还很轻量，因此验证可以在本地设备上完成。
作为公告的一部分，研究人员发布了详细的技术规范以及该系统各个组成部分的可运行代码，这些内容已在 GitHub 上以开源许可证公开。该系统的研究仍在进行中，目前没有在 Anthropic 或任何其他实验室部署它的计划。
“这篇研究文章旨在分享阶段性进展，而非一项已完成的研究议程，”研究人员在公告文章中解释道。“我们明确分享这些内容，目的是让其他人审视我们所做的工作，加以利用并加以改进。”
当您通过我们文章中的链接购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。
Russell Brandom 自 2012 年起一直报道科技行业，重点关注平台政策和新兴技术。他曾在 The Verge 和 Rest of World 工作，并为 Wired、The Awl 和 MIT Technology Review 撰稿。 他可以通过 [email protected] 联系，或在 Signal 上联系 412-401-5489。
来源： TechCrunch · AI · techcrunch.com