跳到正文
Ars Technica · AI· Ashley Belanger·· 5 小时前AI 评分69

White Circle 研究称 DALL·E 3、Nano Banana 2、GPT-Image-2 易被 RISE 攻击绕过生成不雅图像

OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say

AI 导读

安全研究机构 White Circle 在预印本论文中提出名为 RISE 的攻击方法,用现成下载的 Qwen 模型作攻击方、Gemini 3.8 Flash 作判定方,通过 API 调用绕过 DALL·E 3、Google Nano Banana 2 和 GPT-Image-2 的安全过滤,约 13% 的请求成功生成露骨内容。

正文 · AI 翻译

现成的越狱机器

攻击方法暴露了 OpenAI、Google 在防范 AI 色情图像方面的防护缺陷。

图片来源: Aurich Lawson | Getty Images

图片来源: Aurich Lawson | Getty Images

安全研究人员持续警告称,大量 AI 生成的色情内容正在不受限制地传播,而监管机构几乎没有采取任何有实质意义的阻止措施。

由 Google 合著、于今年 7 月发布的一项针对美国、澳大利亚和英国互联网用户的研究发现,这类未经同意的内容通常通过文本和私信传播,或存储在被检测和举报可能性较低的私有云中。Google 研究人员由此得出结论:这也是为什么“最关键的干预点”仍然是源头,即用于制作虚假色情图像的有害 AI 工具。

然而近几个月的红队测试表明,随着 Google 和 OpenAI 的一些领先 AI 图像生成器能力变得更强,它们在拦截色情输出方面可能反而变差了。

敲响警钟的是 White Circle 的研究人员,这是一家得到来自 Anthropic、DeepMind、Hugging Face 和 OpenAI 的高级领导者和研究人员支持的公益公司。其创始人兼 CEO Denis Shilov 曾于 2024 年 10 月发布了针对领先模型的最著名的通用越狱之一。White Circle 专注于破解模型以进行彻底的安全测试,帮助企业在部署可能不总是按预期行事的先进 AI 系统时检测和遏制威胁。

测试文生图模型拦截违禁内容类别的能力是 White Circle 的一个重点研究方向,Shilov 认为他们的最新发现已经“令人惊骇”,足以公之于众。

轻松绕过

在上个月发布的一篇未引起太多关注的预印本中,White Circle 研究人员揭示了 DALL·E 3、Google 的 Nano Banana 2 和 GPT-Image-2 防护栏中的缺陷。他们在一份新闻稿中解释说,“只需使用网上任何人都可下载的现成工具,并通过发送 API 调用,White Circle 就能用这种新型攻击方法绕过安全过滤器”,并约有 13% 的概率生成色情内容。

“关键是,这些请求都不需要定制或前沿 AI 模型,”White Circle 警告说,因此执行这些攻击不需要任何 AI 专业知识。

研究人员对输出进行了审查以验证绕过率,White Circle 指出这是“在相同标准下测试过的所有方法中最高的”。他们提出的核心结论是:“在 AI 安全从未受到如此严格审视的时代,领先实验室构建的防御远比它们自己承认的要脆弱。”

通过发布这样的研究,White Circle 正在将自己定位为前沿实验室的外部评估者,并计划将整个攻击流水线开源,以便模型开发者了解漏洞的真实规模并构建更强的防护。尽管该公司尚未广泛宣传这项研究,但将于今年 11 月在著名的 AI 会议 NeurIPS 2026 上分享,这可能在今年秋末加大对 Google 和 OpenAI 的审视力度。

Shilov 告诉 Ars,White Circle 已通过“共同联系人”向一些前沿 AI 实验室分享了其发现,但 Google 和 OpenAI 均未回应 Ars 就其模型中发现的漏洞直接置评的请求。

与此同时,OpenAI 和 Google 发布了新模型——ChatGPT Images 2.5 和 Nano Banana 2.1——White Circle 告诉 Ars,使用相同方法进行的提示词安全测试显示“两者的可破解程度都显著高于其前代版本”。

在 Ars 分享这些新发现后,两家公司均未回应。

Shilov 告诉 Ars,White Circle 的攻击方法可以在显式内容等看似容易被发现的类别中突破前沿防御,这对于目前正被更新以阻止其他不良 AI 行为(如黑客攻击)的更严肃防御系统来说不是好兆头。

White Circle 告诉 Ars:“White Circle 对此的工作假设是,要么是较新的模型更复杂、能够生成更广泛的内容,要么是安全性在能力面前被降低了优先级。”

Shilov 说,White Circle 还在就第三方安全测试与政府官员进行早期洽谈,他认为这是应当强制要求的。强制性独立审计可以促使公司优先考虑安全测试,而分析师指出,由于 AI 公司将大部分资源投入到算力和 AI 基础设施中,安全测试在很大程度上被搁置了。

Shilov 告诉 Ars:“他们应该在模型的安全措施和安保措施上投入更多资金。而在我们看来,他们实际上并没有这样做。”

“RISE”攻击方法迭代越狱提示

为了暴露“可复用且可迁移”——即在不同领先模型之间通用——的越狱,White Circle 没有把自己局限于一次测试一个提示词。相反,研究人员寻找“可在多个提示词和场景中有效的模式”,以检测可能在各领先模型间通用的可复用攻击策略。(研究人员指出,Midjourney 未被测试,因为它“不提供适合受控基准测试的公共 API”。)

该团队将这种新颖的攻击方法命名为“通过迭代策略演化进行红队测试”(RISE)。它依赖两个组件:一个生成越狱的攻击模型和一个验证输出是否为违禁内容的裁判模型。

Shilov 告诉 Ars:“整个流水线建立在广泛可获得的模型之上。”攻击模型是从 Hugging Face 下载的 Qwen 模型,裁判模型是 Gemini 3.8 Flash。

Shilov 说:“你不需要前沿模型就能攻破一个前沿模型的防御,这非常有趣。”

Shilov 说,团队投入了大量时间来确保裁判模型能够准确标记显式内容。White Circle 研究工程师 Dmitrii Kharlapenko 告诉 Ars,在图像生成器测试方面,整个红队测试领域“校准非常差”,没有任何论文设立规范。因此,这仍然是一个“完全被报告问题所困扰”的领域,这让 White Circle 感到担忧,因为 AI 公司正通过发布越来越引人注目的新模型来争夺市场。

Shilov 解释说,对 White Circle 而言,这项研究旨在构建更复杂的模型,可以模拟对其他模型的攻击。这样,他们就能“帮助防御者在漏洞被恶意利用之前识别并解决它们”,预印本论文中写道。

在理想世界里,Shilov 认为 AI 公司不仅应该接受强制性的外部安全测试,还应该接受第三方监控,就像用于防范核威胁的体系一样。

届时,像 White Circle 这样的机构可能会结成联盟,帮助实时检测 AI 威胁,同时避免偏差。Shilov 指出,AI 生态系统中一个新兴的问题是,几乎所有在做有趣的安全工作的人都可能被前沿实验室签约,这可能损害他们工作的独立性。

White Circle 已与前沿实验室展开合作。它此前曾参与 Anthropic 的漏洞赏金计划,但最终发现该计划“在目的上非常受限”。

“该计划聚焦于他们最关心领域内的通用越狱,并按其自身特定条款来界定,”White Circle 告诉 Ars。

White Circle 表示,像他们最新的 RISE 论文这样的研究“肯定”不会被该计划所涵盖。而且在 Anthropic 内部开展这项工作,可能会限制 White Circle 向公众分享研究成果。

Anthropic 已提议更进一步,在其实验室中嵌入第三方 AI 安全评估机构,White Circle 表示这将使他们能够以比参与漏洞赏金计划高得多的水平开展工作。不过,公众可能无法始终密切关注这类工作。据路透社报道,本周二,OpenAI 和 Anthropic 敦促要求外部评估者签署限制性保密协议,以防止商业机密泄露。

White Circle 告诉 Ars,他们不愿签署任何可能阻碍公开分享关键发现的限制性保密协议,因此如果 Anthropic 要求签署保密协议,这种合作很可能无法达成。

AI 色情图像与儿童性虐待材料日益增多

那些执意制作 AI 生成的未经同意的亲密图像(NCII)和儿童性虐待材料(CSAM)的不法分子并不需要前沿模型,他们通常使用专门为此有害目的设计的所谓 去衣应用。但谷歌的研究发现,在承认制作过 AI 色情图像的网民中,有 20% 是“为了好玩”或“当作玩笑”,而近三分之一的人只是在“试验技术”。因此,攻破最易获取模型的防御有多容易便至关重要。谷歌的研究称,应当强制实施安全防护措施,以堵住“通往滥用的途径”,防止“那些原本可能因技术阻力而被威慑的部分施害者”有机可乘。

“开发者也有责任实施强大的模型级防护栏和来源指示机制,以防止合成色情图像的初次生成及后续传播,”谷歌的研究表示。

上周,互联网观察基金会(IWF)警告称,在专家分析师发现“今年上半年出现的照片级逼真的 AI 生成儿童性虐待图像比整个 2025 年全年还多,其中包括描绘两岁以下儿童的图像”之后,急需采取行动。2026 年前六个月共发现 6,310 张符合 CSAM 法律定义的 AI 图像,比去年全年发现的总数高出约 40%。

这家总部位于英国的非营利慈善机构在全球范围内监控 CSAM,并运营着一条热线来支持受害的目标人群。IWF 的一位发言人告诉 Ars,在英国,他们呼吁监管机构引入一个安全框架,要求 AI 公司防止其技术被用于生成 CSAM。

在此之前,IWF 认为,像 White Circle 这样的第三方“揭示企业防护措施在哪些地方失效”十分重要。

IWF 的发言人表示:“我们的分析师已经看到,AI 的进步让生成虐待性儿童性虐待图像只需极少的工作量,不再需要技术专长,并显著降低了入门门槛。AI 工具可以复制和放大犯罪内容,加速有害材料的大规模创建与传播。任何能够引入以增加滥用这些工具难度的摩擦或步骤,都是积极的一步。”

正如外部意见可以帮助改进过滤器一样,IWF 认为科技公司也应该与倡导组织更紧密地合作,审查模型,以更好地应对 AI 生成的儿童性虐待材料(CSAM)。

IWF 的发言人表示:“评估 CSAM 是一项高度专业化的任务,需要专业培训和福利支持,科技公司或机器学习科学家不应掉以轻心。但安全必须从一开始就内置于新技术的设计之中——这包括在模型发布到市场之前进行测试,确保它们不能被用来创建儿童的裸体或性图像。”

可能的缓解措施

White Circle 认为,使用像 RISE 这样的方法可以帮助前沿实验室更快地标记更多越狱行为,并迅速加强防御以阻止有害输出。除了对露骨图像进行阻断测试外,公司还可以使用这种方法来防止其他被禁止的输出,例如描绘血腥暴力或自残的图像。

但这些实验室尚未前来接洽这一复现流水线,该流水线将共享在 White Circle 的 GitHub 上,以帮助政策制定者评估是否需要 AI 安全法律来约束前沿实验室。

Shilov 告诉 Ars,在安全测试成为强制性要求之前,前沿实验室不会投入其中。这意味着公众可能不得不忍受那些只是改写不良提示词来防止受限输出的模型,而不是像预印本论文所解释的那样,“演化出能够激发 LLM 自身探索能力的自然语言攻击策略”来阻断输出。

Shilov 说:“你不需要前沿模型或专有技术就能攻破这些系统;你只需要一个免费下载和进行 API 调用的能力。然而,构建这些系统的实验室正是评估自身安全、发布自身结果并制定自身标准的一方。这进一步证明——如果我们还需要证明的话——政府应该推动独立的第三方评估。”

Photo of Ashley Belanger

Ashley 是 Ars Technica 的高级政策记者,致力于追踪新兴政策和新技术的的社会影响。她是一位驻芝加哥的记者,拥有 20 年的经验。

0 条评论

  1. Listing image for first story in Most Read: Topgolf saved over $11.3 million after leaving VMware

来源:Ars Technica · AI · arstechnica.com