跳到正文
MIT Technology Review · AI· Grace Huckins·· 4 小时前AI 评分52

MIT Technology Review 解读开放模型的收益与风险之争

Open models have real benefits. Do they outweigh the risks?

AI 导读

MIT Technology Review 发文解读开放模型与闭源模型的争论,指出闭源模型目前仍占 Artificial Analysis LLM leaderboard 前八名,但开放模型落后仅数月。

正文 · AI 翻译

为什么开放与封闭 AI 之争比看上去更复杂

2026年10月13日

Clouds with an open door revealing a dark digital pattern.

Sarah Rogers/MIT Technology Review | Getty Images

MIT Technology Review 解读:让我们的作者为你理清复杂纷乱的科学与技术世界,帮助你理解未来会发生什么。你可以在这里阅读本系列的更多内容。

上个月末,Anthropic 发布了一份报告,指出模型 GLM-5.3 构成重大网络攻击风险。报告的核心担忧是,这款由中国公司 Z.ai 于8月发布的强大新模型可以免费供任何人下载和修改。Anthropic 的这一主张只是围绕前沿 AI 模型究竟应该像 GLM-5.3 一样开放,还是应该锁在前沿实验室大门之内的长期争论中的最新举动。 

如今,关于如何处理开放模型的许多争论都在公开场合展开——而这场争论的结果关系到巨额利益。Nvidia CEO 黄仁勋若人们继续购买自己的硬件来运行开放模型,他将获益良多,他热切主张美国开发更多开放模型;而 Anthropic 的 Dario Amodei 所执掌的公司可能被廉价强大的模型削弱,他则主张更谨慎的做法。但在所有这些商业动机之下,关于开放模型的分歧确实有其实质性内容。

“我认为你对开放之争的很多立场,都受到你对 AI 之争立场的影响,”德克萨斯大学奥斯汀分校信息学院助理教授 David Gray Widder 说。担心 AI 安全的人警告说,开放模型很容易被恶意行为者滥用,而更关注 AI 实际潜力的人则敦促这种能力不应只锁在少数大公司的门后,开放模型可以帮助将其更广泛地传播。

在完全禁止开放模型与随意发布之间,存在多种处理方式。但政府或社会可能采取的任何方案,仍然要在安全与民主化之间进行权衡。决定支持还是限制开放模型的生产,需要深入理解其中的风险与收益。

开放模型有哪些好处?

先从基础说起。封闭模型,比如驱动 ChatGPT 和 Claude 的模型,只能通过网站、应用或 API 访问。而开放模型则可以直接下载:其内部结构的细节,以一长串被称为模型权重的数字编码,是公开可获取的。这类模型有时被称为“开放权重模型”,以区别于那些提供更多信息的模型,例如训练过程的细节也可获取的模型。 

目前,封闭模型比开放模型更强大——截至发稿时,Artificial Analysis LLM 排行榜上的前八名模型都是封闭的,不过开放模型在发展上只落后几个月。但人们选择使用开放模型而非封闭模型有几个原因。由于开放模型可以下载,人们可以在自己的电脑或硬盘上运行它们。如果具备相应的专业知识和资源,他们甚至可以重新训练模型,使其表现有所不同。 

如果你是一名致力于理解和改进 AI 系统的学术研究者,你几乎肯定需要在研究中使用开放模型。使用封闭模型时,研究人员所能做的不过是发送提示词并观察响应。但研究人员可以观察开放模型的内部运作,以及模型在回答前用来思考问题的“思维链”。他们还可以组合多个开放模型来构建新系统,对其进行压缩以提高效率,并针对新应用进行微调。

企业也有理由偏好开放模型。据 Mozilla 最近的一份报告,即使你依赖外部提供商为你运行这些模型,开放模型的成本通常也低于封闭模型。而且,如果企业想用 AI 处理敏感数据或专有信息,在自己的硬件上运行本地模型可能是保障其运营安全的最佳方式。

但开放模型最重要的特质,或许在于它挑战了前沿实验室对大多数人如何使用 AI 的严密控制。“[支持开放模型]最清晰、最有力的论据是防止权力大规模集中——关键是确保这项基础性技术成为一种公共产品,”Tony Blair Institute for Global Change 的高级政策顾问 Elizabeth Seger 说。“我认为我们正处在这样一个关键时刻:谁控制着让 AI 得以运转的基础设施,这个问题的重要性不亚于由谁来控制互联网上的信息。”

Seger 认为开放模型所扮演的角色将决定 AI 未来以何种方式展开。在一种可能的未来中,前沿 AI 系统完全由少数人、公司或政府控制,随着这些系统变得愈发强大,这些群体对我们世界面貌的掌控也日益增强。例如,目前世界上最先进的黑客攻击模型全部出自美国,其他国家能否使用它们来加强自身的网络防御,完全取决于美国公司和美国政府。如果这些公司继续保持领先地位,原则上我们可能会进入这样一个世界:美国有能力入侵任何其他国家,而没有任何人能入侵它。

前沿开放模型可能改变这种平衡。“如果每个人都拥有一个忠于自己且安全[可靠]的 AI 系统,我认为这样的世界会比那种只能依赖一个政府、而它只是说‘没错,我们有一个超级智能 AI 系统,它有一套计划,你们谁都看不懂,尽管相信我们’的世界要让人放心得多,”Centre for Long-Term Resilience 的 AI 政策主管 Hamish Hobbs 说。

但开放模型并非地缘政治的万能药。Paul Azunre 是 Ghana NLP 的联合创始人,该组织为低资源加纳语言构建开源 AI 工具。他指出,开放模型也可能成为公司从较弱势国家的劳动和专业知识中获利、并将更多权力集中到自己手中的方式。他发现了一种模式:AI 公司开放地发布模型,观察社区如何使用和修改这些模型,然后将这些改进整合到自己的产品中——而对那些提出这些创新的人不给任何署名或补偿。Mark Zuckerberg 本人就曾说过,将社区改进整合到 Meta 的技术栈中是发布开放模型的一个关键好处。

“我认为开源的理想非常崇高,它带来了很多价值,”Azunre 说。“但从实际实施的方式来看,它往往是一种非常具掠夺性的做法。”

开放模型比封闭模型风险更大吗?

过去几个月已经表明,对于封闭模型来说,安全仍然是一个棘手的问题。既有 7 月 OpenAI 智能体对 Hugging Face 发起的自主攻击,也有人类滥用这一真实威胁:根据 Anthropic 最近的一份风险报告,已有多个大规模黑客攻击行动在 Claude 的协助下进行。 

所以封闭模型的风险已经够大了——而开放模型很可能更容易被利用。在 Anthropic 将用户的查询传递给其封闭模型之前,它会使用自动化系统来检测该查询是否涉及黑客攻击、生物武器或其他风险。当检测到用户绕过了这些过滤器时,它可以关闭他们的账户。但当有人下载一个模型并在自己的硬件上运行时,就没有过滤器检查他们的提示词是否安全,也没有办法撤销他们对模型的访问权限。

还有其他重要的防线。AI 公司训练其模型拒绝有害请求——所以即使一个不良提示词通过了 Claude 的过滤器,模型仍然很有可能会说“不”。原则上,同样的防御对开放模型也有效,因为它是模型本身固有的。不幸的是,研究人员已经证明,重新训练一个“安全”的开放模型,让它同意执行之前被训练去避免的行为,出奇地容易。

基于这些事实,一些人认为开放模型根本太危险,不应该发布。例如,一个能力足以指导某人合成致命新型病原体的开放模型,落入坏人之手可能会造成灾难性后果。

但断言开放模型危险、封闭模型安全将是一种极其简单化的看法。正如 Anthropic 的风险报告所表明的,AI 公司围绕其封闭模型构建的防御远非完美,而且人们一直在滥用这些模型。尽管开放模型针对滥用的防御更少,但不良行为者可能仍会选择使用封闭模型,因为它们比能力相似的开放模型更容易获取——后者需要大量昂贵的计算机芯片才能在本地运行(如果要重新训练它们,还需要更多芯片)。

事实上,一些接受《麻省理工科技评论》采访的专家以开源软件作类比,认为开放模型比闭源模型更具安全优势。像 Linux 操作系统这样的开源工具,通常被认为比闭源对应产品更安全,因为其漏洞已被庞大的在线贡献者社区探测并修补。类似地,研究人员社区可以更轻松地测试开放模型的安全缺陷,不过修复这些缺陷比重写一行代码要棘手。

开放模型在网络防御方面的部署也可以比闭源模型更广泛。任何可用于黑客攻击的工具同样可以用来防止攻击:防御者会对自己的软件进行黑客攻击,以发现需要修补的漏洞。Anthropic 通过其 Project Glasswing 计划展示了闭源模型如何实现这一点,该计划允许一些受信任的公司使用其最强大的模型进行网络防御。但还有许多其他公司只能自力更生。

然而,开放模型可以得到更广泛的使用。在被 OpenAI 智能体黑客攻击后,Hugging Face 强调说,它不得不依赖开放模型来分析这次攻击,因为相关问题触发了闭源模型的安全过滤器。

尽管如此,许多专家仍认为开放模型比闭源模型风险更大。经过时间检验的开源安全逻辑,在面对像当今乃至未来模型这样强大的工具时未必站得住脚。“复杂之处在于,当你开始认真对待那些概率可能较低、但一旦发生将是灾难性的特殊事件时,”Seger 说。例如,如果今天有一个威力巨大的开放黑客模型被投放到世界上,不良行为者可能在任何人来得及加固防御之前就摧毁我们的技术基础设施。这样的事件可能是无法挽回的。

当你考虑模型可能自发作出的行为时,风险看起来会更加惊人。OpenAI 攻击 Hugging Face 的事件之所以发生,只是因为该公司的模型在测试时移除了许多网络安全防护措施,而开放模型本来就几乎没有防护措施。如果开放模型真的决定作恶,由于它们高度去中心化,可能很难察觉正在发生什么。正因如此,那些认真对待失控智能体所带来的所谓灾难性风险的人,比如 Dario Amodei,往往对开放模型更加持怀疑态度。

我们能让开放模型更安全,也更开放吗?

几年前,关于开放模型的争论采取了一种全有或全无的框架:你要么因为开放模型有对抗权力集中的潜力而支持它,要么因为安全风险而拒绝它。然而如今,人们正在花费大量努力寻找某种中间立场。他们做到这一点的方式之一,是设计出减轻开放模型安全风险的技术。

用于闭源模型的大多数安全工具,例如过滤器和监控,并不适用于开放模型,但还有其他可能性。一些研究者有兴趣尝试训练那些从不接触会教坏或导致不良行为的训练数据的模型——例如,一个从不学习黑客技术的开放模型。但要在不损害模型性能的前提下清除训练数据集中所有不当行为的引用,仍然是一个挑战。

另一些研究者正在构建能够抵抗再训练的模型,使开放模型的安全训练不那么容易被移除。这些“防篡改”模型背后的理论非常有道理:如果你反复尝试将模型再训练为不安全,并强化模型对这种再训练表现出的任何抵抗,最终你将得到一个能够抵御未来再训练尝试的模型。然而在实践中,根据最近的一篇预印本论文,目前没有任何使模型防篡改的方法能够抵御所有篡改攻击。

但作为 AI 医学影像公司 Deep Breathe 的工程师、该论文的第一作者,Saad Hossain 希望未来的技术会更加有效。“我乐观的原因是,这是一个非常活跃的研究领域,很多人都在努力想出新的更好的方法,”他说。

如果开放模型的风险并不像乍看起来那样非黑即白,那么它的好处也是如此。公开模型的内部结构(即权重)可能不足以打破由 AI 促成的权力集中。“我认为开源在分散权力方面确实有非常真实的好处,但它们本身并不足够,”Hobbs 说。开放权重是开放模型的最低标准:如果研究人员能够获得有关模型训练的详细信息,包括训练所用的数据,他们就能更深入地了解模型的工作原理,但 AI 公司通常不愿透露这些信息。 

可及性对开放模型同样重要。如果没有能够运行复杂模型的计算机芯片,即使你拥有模型权重,也无法实际使用它。随着 AI 公司抢购越来越多的芯片,这些芯片的价格已变得高得令人望而却步。“开放性是我们确保技术未来惠及每个人所需努力的底线,而非上限,”Widder 说。

当然,真正的开放——不仅是开放的权重,还包括开放的训练数据和可及的硬件——也可能带来更多风险。如果每个人都能获得先进的 AI 硬件和可在其上运行的高级模型,那么任何人都可能成为黑客。但有一些缓解这些风险的策略。许多专家提倡某种形式的分阶段发布,即模型最初是封闭的,随着其安全性得到确认而逐渐变得更自由可及。

要确切弄清如何实施此类策略,需要在开放模型的风险与收益之间取得谨慎的平衡。但如果开放模型是积极的 AI 未来的必要元素,正如一些专家所认为的那样,这种努力将是非常值得的。

深度探索

保持联系

插图:Rose Wong

获取来自
MIT Technology Review 的最新动态

探索特别优惠、热门文章、 即将举行的活动等更多内容。

来源:MIT Technology Review · AI · technologyreview.com