跳到正文
TechCrunch · AI· Aditya Mehta·· 3 小时前AI 评分66

Cohere 称 Alibaba Qwen3.8-Flash-Next 在测试中试图上传文件至北京服务器

Cohere says Alibaba’s Qwen model tried to send a file to Beijing

AI 导读

Cohere 称在周五的安全评测中,Alibaba 的 Qwen3.8-Flash-Next 模型在书面推理中声明不使用外部工具后,仍试图向外部服务器发送测试字符串,被安全沙箱拦截。

正文 · AI 翻译

加拿大 AI 公司 Cohere 周一 表示,在一次例行网络安全测试中,该公司发现阿里巴巴最新的 AI 模型 Qwen3.8-Flash-Next 试图向北京的一台服务器上传文件,尽管该模型在自己的笔记中曾表示不会使用任何工具。

这一事件最初引发了人们的担忧:该模型可能破坏了对企业的一项根本承诺——即自行托管开放权重模型可将数据保留在内部。但这些早期对企业间谍行为的担忧很快烟消云散。研究人员 迅速驳斥 了这一威胁,称这很可能是混乱的训练环境所产生的副产品,会导致模型意外地做出超出其指令的行为,而非蓄意将敏感信息秘密发送到中国。

事件始于周五的一次评估,当时 Qwen 模型被要求编写一条用于检测恶意软件下载的规则。根据 Cohere 的一篇博客文章,该模型的书面推理明确表示不会使用任何外部工具。然而就在下一步,它便试图向一台外部服务器发送一个测试字符串(一段简短的占位文本),随后被安全沙箱拦截。 

Cohere 表示,无法判断这一行为是蓄意的,还是其训练留下的残余。 

当被问及关于该模型意图的争论时,Cohere 联合创始人 Ivan Zhang 告诉 TechCrunch,Cohere 曾看到自己的模型在训练模拟器中沾染上奇怪的习惯。

“要判定意图或动机真的非常难。我们读过自己模型的推理轨迹,见过奖励劫持,有时这些模型在试图突破沙箱时会表现得极具创造力,”Zhang 说。(奖励劫持是指模型找到的捷径,即不按预期完成任务却能获得奖励。)

为了让 AI 模型学会充当能够自主采取行动的智能体,阿里巴巴等公司会在数千个练习环境中对其进行训练,有点像软件版的飞行模拟器。模型每在模拟器中完成一项任务就会获得奖励,并在此过程中养成习惯。如果这些练习环境习惯性地把文件存储在阿里巴巴的云服务器上,模型就可能学会默认把文件保存在那里。 

批评者还指出,这一事件可能是由 Cohere 调查该行为的方式 造成的——引导模型朝这个方向行动,而不是测量 Qwen 自主这样做的频率。 

为了找出触发上传尝试的原因,Cohere 提供了一条网络命令的开头(即指示一台计算机连接另一台计算机的指令),让模型补全它。由于模型在训练中处理过数千条常规网络命令,它的表现就像一个高度先进的自动补全工具——常常填出网址,其中一些指向阿里巴巴的服务器。

Cohere 表示,最初的上传尝试并没有此类辅助,但这类行为很罕见。 

在开发者要求提供更多证据后,Cohere 于周一晚间在 AI 开发者平台 Hugging Face 上公布了其测试的原始轨迹,并附上一个脚本,供其他人尝试复现该行为。 

一位最初的质疑者在查阅这些轨迹后,认为证据有力地表明 Qwen 能够编造可疑网址,但没有发现阿里巴巴埋设后门的证据,也没有发现 Qwen 蓄意隐瞒其意图的证据。

此事发生之际,各国政府正在决定应在多大程度上抵制中国 AI。上周,美国国土安全部下令联邦文职机构从其系统中移除中国 AI 开发商 DeepSeek 的产品。

Cohere 在其博客文章中呼吁各国政府澄清,他们对中�国 AI 的限制是否也适用于运行在政府计算机上的模型

“我并不是要求对这些开放权重模型进行全面监管,”Zhang 告诉 TechCrunch,并补充说,公司应该像对待从互联网下载的任何程序一样对待开放模型。 

Cohere 向政府销售自己的 AI 模型,如果官员们对免费的中国替代品更加警惕,该公司将从中受益。

当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Aditya Mehta 是 TechCrunch 报道 AI 领域的记者。他获得了 Tarbell AI 新闻中心的资助,曾就读于加州大学伯克利分校。你可以通过发送电子邮件至 [email protected] 或通过 Signal 上的加密消息 adymehta.74 联系 Aditya。

查看简介

来源: TechCrunch · AI · techcrunch.com