Decoder 访谈：Cognition 安全负责人 Alex Stamos 谈 AI 如何颠覆网络安全

今天，我和 Cognition 的首席安全官、资深网络安全专家 Alex Stamos 聊聊目前网络安全领域有多混乱。

本期节目是一个关注 AI 在现实中应用的特别系列的第一部分。

我一直很喜欢和 Alex 交流，因为他非常直率。你会听到他说，我们所熟知的这个价值数十亿美元的网络安全行业，在面对那股由 AI 加持、持续不断的黑客攻击、数据泄露与入侵浪潮时，已经积重难返——而这仅仅是 AI 改变安全领域的开端。

Verge 的订阅用户别忘了，无论你在哪个播客平台，都可以独家收听无广告版 Decoder。点击这里。还不是订阅用户？你可以在这里注册。

无论是私人行为者，还是俄罗斯、朝鲜这样的国家行为者，都在借助 AI 同时发现并利用漏洞，攻破世界各地的系统。Alex 指出，这有一种真正的边疆感，就像上世纪 90 年代，“永远在线”的世界这一概念刚刚诞生时那样。

如此大的动荡意味着坏家伙有很多可乘之机，而其他所有人只能仓皇应对。从长远来看，Alex 并不悲观，但他确实认为，在我们试图弄清楚究竟该如何适应新时代的过程中，我们将经历一段“黑暗时代”。

这里有很多值得聊的内容——我们甚至聊到了 AI 驱动的虚假信息和垃圾内容在社交网络上该如何治理。

开始之前，帮个忙，在 YouTube 上订阅 Decoder，我们每周一和周四都会发布新节目。

好了：下面是 Alex Stamos 谈 AI 如何颠覆网络安全。开始吧。

本文访谈内容为便于阅读和节省篇幅已略作编辑。

Alex Stamos，你是 Cognition 的首席安全官，同时也是斯坦福大学网络政策中心的一名讲师。欢迎回到 Decoder。

嘿，谢谢你邀请我，伙计。

很高兴和你聊聊。自从上次我们交谈已经很久了，那时大概可以称为互联网政策讨论的“内容审核时代”。我记得我们聊了很多关于内容审核运作情况、选举安全之类的话题。如今互联网进入了大问题的新时代，尤其是在网络防御和网络安全方面。你一直在深入思考这些问题。你把过去几周称为“安全意识月”。告诉我现在的情况，给我讲讲当前的格局吧。

十月历来是安全意识月。许多公司会举办活动，先在内部处理安全事务，然后告诉人们：“改密码，用多个密码，用密码管理器。”而过去一个月发生的事情是，我们遭遇了几个重大漏洞，PHP、Node 等等。但讨论得较少的是，大量公司已经遭到入侵。

你有一系列 AI 相关的公司，也就是那些接连被攻破的 neocloud（新兴云服务商）。还有币安（Binance）被盗事件，这是人类历史上最大规模的盗窃案。还有 Cursor 事件，其中值得注意的一点是这些攻击正在被串联起来。据我们目前所知，被攻破的公司之一是 Fireworks，它是一家为许多公司提供 AI 服务的重要供应商。通过攻破 Fireworks 窃取的 API 密钥，攻击者得以侵入 Cursor。一旦进入 Cursor，他们随后推送了一个恶意插件，波及另外 5000 家公司，造成 5000 起潜在的入侵。整个科技行业正在经历的，就是这种永无休止的持续入侵。

我的一位首席信息安全官（CISO）朋友对我们一群人说：“还有别人也觉得累了吗？”所有人都说累，因为实际上整个 10 月我们一直处于 DEFCON 2 状态，现在进入 11 月依然如此。

我要问你一些非常愚蠢的问题。这些攻击背后是谁？是俄罗斯吗？是朝鲜吗？我们知道吗？

这是各种不同的团体。这不仅仅是因为对手做出了决定，而是从我的角度来看，我们正处于 AI 赋能的对手能力起飞的起点——开放权重模型现在已经发展到可以自动化大部分杀伤链的程度。这个“杀伤链”（kill chain）术语是我们从军方借用来的。在军方，它的意思是真正杀死某个东西，是炸毁某个目标所需执行的步骤。而在网络领域，杀伤链是指对一个目标产生效果所要做的步骤，比如窃取信息、关闭某个系统、偷钱、偷比特币。

传统上，你会提前做研究，研究某款软件，找到漏洞，编写漏洞利用程序，所有这些都在很早之前完成。然后派一个人带着你构建的这些东西，针对某一个目标去部署——因为也许你是一个政府，你要对付洛克希德·马丁或另一个政府，或者你是勒索软件团伙——你把之前所做的全部工作快速部署到成百上千个目标上。而现在有了 AI，情况是这条杀伤链被反转了：你可以运行一个 AI 系统让它横冲直撞，它会查看目标、实时发现漏洞、实时编写漏洞利用程序，然后攻入这些公司。现在正在发生的事情之一是，这些系统在运行，而且它们太擅长找漏洞了，以至于它们实时发现漏洞并实时编写漏洞利用程序。

大家都在谈论的那个系统并不是唯一的，但我们所说的是一个叫 ARTEX 的东西，它是一个中国的开源工具，任何人都可以去看。GitHub 上有英文翻译可以查阅。如果你在后端用类似被“破解版”的 GLM-5.3 来驱动它，它就能让你攻入数量惊人的组织。这始于三家韩国银行。本周又有大约 200 家公司被攻击。我一直在帮几家公司处理。Cognition 不是一家事件响应公司，但我们确实会用我们的工具进去帮人们事后修复漏洞。被这种随手就能下载的东西攻破的公司数量令人震惊。已经很久没有出现这种情况了——下载一个开源工具就能攻入市值数十亿美元的公司。这就像 90 年代。这真是——

这正是我在想的事情。我想起了 90 年代末、2000 年代初的 Windows，那时候简直就是一场安全灾难。

其实我在今年年初就开始说，这是一个极其令人兴奋又极其可怕的时代，因为上一次有这种感觉，还是在我年轻得多的时候，我会去参加最早期的 DEFCON。如今的 DEFCON 大约有 4 万到 6 万人。当年（90 年代）只有几百人，只有一个会场，你进去听某个人做演讲，走出会场时心里会想：“世界上每一家公司都容易受到这种攻击。”区别在于，当时整个世界并不运行在互联网之上。你可以去做坏事，但你无法毁掉整个世界，更无法像现在这样把它自动化。

又回到了那个时代——你可以随手获取并自己搭建的工具能做出疯狂的事情。又回到了狂野西部的日子。在那个年代，拥有那些技能的人只有几百个，我们全都聚集在拉斯维加斯的同一个会场里，而且他们大多数人其实是好人。他们不想当罪犯。而现在，你面对的是一个庞大得多的人群生态，其中很多人生活在执法力量无法触及的地方，他们有巨大的经济动机，并且能够获取这些工具。另一个重大变化是，他们不再必须使用那些带有防护机制、留有可供执法部门调取日志的前沿模型。我的 M5 Mac Ultra Studio 终于到了，我一直在上面运行量化版的“破解版” GLM-5.3，天哪，它能做到的事情令人难以置信。

你提到了前沿模型的经济性。网络犯罪的经济模式是多年来变得日益复杂的事情之一。我们的系统能变得更安全的一个原因是：你可以付给 DEF CON 上那些人大笔金钱来保护所有系统，而且在经济上，付钱让他们当防御者比当攻击者更划算。我这是在大脑里回放这段历史。我们行业里曾有过漫长的讨论，是关于“以模糊求安全”——隐藏所有的漏洞和代码——还是开源并保持真正透明。后来形成了一套关于如何披露漏洞、何时通知相关方的行为规范。还出现了透明度报告和漏洞赏金计划。

你可以说这是一种礼仪，也可以说这是一种经济。我们围绕网络安全和网络防御，以及攻击者与防御者如何行动，建立了一种文化。而你现在描述的东西出于诸多原因彻底改变了这一切，但在我看来最突出的一点是它的经济性。我可以去买一台 Mac Studio，获取一个开放权重模型，然后直接开工——而这并不会把我纳入那个文化之中。不会有一位老人，一位欧比旺·克诺比，来告诉我“你要这样扮演网络安全绝地武士”。我就会直接开始干活。告诉我这一切现在正在怎样改变。

实际上，在我看来，上一个安全时代始于 2000 年代初微软比尔·盖茨的“可信计算”备忘录。从那时起，我们开始设计软件安全的实践方式，这些大公司——微软、甲骨文，以及后来的亚马逊、Salesforce 等——开始雇用前黑客。我就是那一代前黑客中的一员，我们混迹于 DEF CON 和 Black Hat 大会，然后被公司雇去攻破他们自己的产品。我们开始提出负责任披露、漏洞赏金、咨询公司等概念，于是 Foundstone、@stake，以及后来的 Mandiant 和 CrowdStrike 这些公司成长起来，我们有了这个如今以 RSA 和 Black Hat 为标志的庞大产业。这个价值数十亿美元的安全产业在 2000 年代和 2010 年代发展壮大。

正如你所说，那个时代已经结束了，因为它建立在几个假设之上。其一，是存在一个技能水平的层级体系。有脚本小子，他们可以下载工具来做事；再往上一级是能编写这些工具的人，那是更为稀缺的技能。还有漏洞研究人员，再往上是“神”——那个神级群体只有几百人，他们是能做真正顶尖漏洞研究的人，能写出真正顶尖的 shellcode，能对微软等厂商的补丁进行逆向工程。

还有一个假设是，能够在攻击中执行操作的人数是有限的。如果你想组建一支攻击团队，你会有一支小规模的研发队伍，以及一支规模大得多的行动队伍。如果你是美国网络司令部、俄罗斯对外情报局（SVR）或中国国家安全部的专业攻击团队，你会先组建由精英构成的研发团队，然后是水平稍逊的行动人员，而这种结构后来被俄罗斯的勒索软件团伙照搬。干这些事必须有一群人的共谋。其中不少假设也随着比特币的发明而瓦解，因为其中一个假设是你必须有人来洗钱，而比特币意味着极客也能洗钱。这开始改变整件事的经济逻辑。

所有这一切正在因 AI 而瓦解，因为技能的问题在于，如今脚本小子已经具备了 Dave Vitales 和其他网络之神的部分技能，凭借放在我桌面上的这台 Mac，我就能对微软的补丁进行逆向工程，逐步分析，然后写出稳定的漏洞利用代码。虽然还谈不上完全自动化，你仍然需要不少技能，但我们已经非常、非常接近了。

真正令人担忧的，也是你在 ARTEX 相关案例中看到的，是现在你可以在运营层面放开手脚了。我们从来没有真正安全过，那都是幻想。这些漏洞一直存在，这些公司从来就不安全。过去十年我们看到的是，主要是俄罗斯的勒索软件团伙不断攻击那些大多数人从未听说过、但实际上非常重要的中型公司，比如某家生产我们大家都依赖的某种小部件的中型工业企业。我曾为全国最大的医疗和牙科用品分销商做过工作，他们被一个俄罗斯勒索软件团伙狠狠地搞了一把，随后全国各地的牙科诊所纷纷取消预约。这甚至都没上新闻，但原因就是他们拿不到手套，拿不到物资。因为像那样的公司只有一个安全人员和一个 10 人、12 人的 IT 团队，而他们要面对的是一个 20 人的俄罗斯勒索软件团队，他们完蛋了。

但那是因为能干出这种事的俄罗斯团队只有那么几个。现在两三个俄罗斯孩子就可以拥有一整排 Mac，或者如果有钱的话，他们可以买 Nvidia H-100，运行大量智能体整天干这种事，这正是正在发生变化的地方。

抱歉，你问的是谁在干这些事。对币安（Binance）下手的是朝鲜人，他们有一整个团队，专门做的事就是窃取比特币。其他人已经退出了这个行当，因为和一个专门招募本国最聪明的孩子、全职窃取比特币的外国情报机构竞争实在太难了。他们极其擅长于此。至于币安那起攻击事件，我们可以聊聊。其中可能有一些 AI 成分，但主要还是靠人力情报和非常非常聪明的社会工程学，而朝鲜人……我是说，你不得不佩服他们，他们在这一点上非常非常厉害。

至于其他那些事，看来那些入侵 AI 公司的人，背后是所谓的中国“山寨外包行业”——即一些小的中国承包商，他们入侵公司，然后把信息卖给规模大得多的中国公司。

技能的这种扩散正在改变网络攻击的经济学，这让我非常着迷。早在这一切开始之初，我们发过一篇标题为“杀手级脚本小子的进攻”的文章，我现在有点后悔，因为它放到今天比当时更贴切，因为那时候只不过是一堆自动化的恶作剧。而现在——

因为你把那个标题浪费掉了。你真希望当时把它留到现在再发。

我们把标题浪费掉了。有时候你会突然灵光一闪想到一个绝妙的标题，必须赶紧发出来。那是一篇很棒的杰作，我们会把它放到节目备注里。不过，你说的这种扩散，感觉并不是说一群青少年会变得更加恶意，而是一群有真实作恶动机的不良行为者，现在比以前强大得多。而这种经济学似乎无法重新调整，除非你能设法让发动攻击变得极其昂贵。

我认为要让发动攻击变得代价高昂，将会极其困难。

我们必须降低防御的成本。你关注这个经济问题完全正确，因为现在的趋势是攻击正变得智能化（agentic）。攻击者每 token 的成本正在趋近于零，而防御者的防御成本却依然很高。对我们来说，找到让防御者拥有更廉价选项的办法至关重要。我认为这一点非常关键，这也是我个人极其专注的事情。坦率地说，很少有人这样做。

这里有几个问题。其一，AI 在防御方面的关注点几乎都集中在发现和修复漏洞上。这很好，也很重要。但作为一名 CISO，软件安全……我在一家 AI 软件公司 Cognition 工作。即便作为一家软件产品公司的 CISO，软件安全也只占我工作的 25%。我还有各种其他职责。而软件安全恰恰是我的工作中被 AI 革命化、改善得最多的部分。其余 75% 只是略有改善，有些情况下甚至变得更糟。除了在发现和修复漏洞上不断攀登，我们还有太多事情要做，而在其他所有这些事情上的攀登却少得多。下一个领域应该是运营安全。

等等，给我举几个那 75% 里其他事情的例子。

好的。运营安全方面的工作就是盯着你的日志，然后说：“啊，有人正在用我们的技术对付我们。我现在要启动一次调查，我要看看发生了什么，然后我要做出一个明智的决定，在不让整个公司停摆的前提下该如何应对。”这就是 SOC（安全运营中心）的工作。想在这个时代存活下来的公司，必须用 AI 替代从事第一线、最终是第二线这类工作的人类。用当前的 LLM 就能做到这一点。

第一层其实不应该是 LLM，而必须是笨得多得多的东西，因为你要面对的是 TB 乃至 PB 级的日志，用真正的 LLM 来处理完全是得不偿失的。我们有其他工具——TF-IDF、MLBERT、传统分类器——它们运行速度快得多。先用它们触发警报，然后把它交给一个小型 LLM，小型 LLM 再调用它更大的兄弟，而后者可能再调用更大的兄弟。

但对于这些模型，我们还需要做大量优化工作，并且要让它们变便宜。我有一位在某个大型安全平台公司工作的同事说，用他们产品基于大型前沿网络模型做一次调查要花 900 美元。当俄罗斯勒索软件团伙要么用 Mac、要么用一次性的加密货币矿机、边际成本为零时，这是行不通的。

这就是我们在 Cognition 致力的事情之一：我们训练自己的模型、对开放权重进行再训练，试图把这种成本大幅压低。这件事我们已经在做了，但我们还有很多工作要做，很多其他人也有很多工作要做。作为一个行业，我们必须聚焦于网络安全领域成本与效率之间的帕累托前沿，因为这不只是找漏洞。

这里的另一个问题是，人们经常谈到 Mythos。Mythos 很棒，Astra Cyber 也很棒。它们是令人难以置信的模型，但即便是能用到它的少数几家公司，也只是扫描他们最重要的代码。而外面有数千亿行代码，它们不是 Linux 内核，而是 Infosys 十五年前写的那种垃圾 C# 和 J2E 代码。所有这些代码都不会拿去跑一个贵得要死的前沿网络安全模型。这正是我们需要在成本效率上下功夫的地方。

感觉你在描述一个我经常听到的老生常谈：一切都会变得糟糕得多，然后才会彻底安全。但你所描述的模型似乎并不会带来那样的结果。我们不会经历某个绝望低谷、永远修复所有漏洞，然后从此拥有完美代码。在某些时候，攻击者总是拥有成本优势。你在经营一家公司，你不可能写出边际成本为零的防御。总得有人来做这件事，即使攻击者的数量近乎无限、边际成本实际上为零。那么，我们是不是要经历一个一切都糟糕得多的时期，然后就永远完美了？还是说，成本如何自行达到平衡？

我既不是最悲观的末日论者，也不是对此最乐观的人。我觉得我们不会完蛋。我们不会在未来两年内全部死亡或被上传到奇点，我也不认为当情况好转时会变得完美。我一直在用的比喻是，我们正在进入一个黑暗时代。事情会变得更加黯淡，而我们这些从事网络安全工作的人——尤其是在 AI 公司从事网络安全工作的我们，虽然相比那些大写的 Labs 我们是个较小的实验室——的责任，就是帮助缩短那个黑暗时代。

黑暗时代很糟糕，但我们挺过来了。然后我们迎来了启蒙运动和文艺复兴，但文艺复兴并不完美。它不是乌托邦，并非一切都完美。我们仍然会有黑客攻击。即使没有安全漏洞，各种坏事也会发生。有大量的安全入侵根本不需要软件本身存在漏洞。而且即使 LLM 用强类型语言编写所有软件，软件中仍然会有漏洞，清除所有漏洞需要很长的时间。不过我确实认为，当中位数代码变成由 LLM 用内存安全和类型安全的语言编写的代码时，情况会开始好转。但问题在于，我们有好几十年的东西是人类写的，而且用的是我们多年前就该淘汰的语言。

我的感觉是，要缩短这个时代，我们必须做几件事。其一，我们必须停止认为只要找出漏洞并打上补丁就能脱困。有一堆东西就是需要重构。如果你审视你的代码库，扫描后发现有一万个漏洞，那么现在大概到了重写反而更便宜的地步。这是我观察我们这些客户得出的结论：只要你能跑通一个可用的构建，那么写出一整套庞大的测试、把这个东西的工作方式规范地描述出来，然后在这个规范和这些测试的约束下安全地重建它，实际上比找出所有漏洞并修复它们要容易得多。事实确实如此。

我不知道 Linux 内核开发者们心里在想什么，但再提一下我在今年年初做的那场演讲，我当时提出了两种可能的未来：其一是我们现在已拥有超越人类的漏洞挖掘能力，也许我们只是有一个超越人类的漏洞池，即将把它耗尽。那是好的未来。

但坏的未来是，每当我们得到一个新模型，就会出现一个新的、更“超越人类”一点的漏洞池。不幸的是，我们似乎更接近这种情况：Linux 内核先是针对 Mythos、然后是 Mythos Preview 得到了一批修复，然后我们有了 Mythos 5.1，又出现了一个新的漏洞池。接着我们有了 Astra Cyber，又刚收到了另外 1,000 个 Linux 内核补丁。这个趋势还没有放缓。我认为我们不可能就这样把 Linux 内核的 C 代码扫描个遍。说实话，全世界大概只有两家公司能做到这件事，那就是 Google 或 Amazon。

我倒是希望 Google 放弃 Fuchsia 项目，或者不再重启 Google Book 或 Chromebook，而是把那些极其聪明的工程师全都召集起来，告诉他们：“把 Linux 内核用 Rust 重写一遍。”那将是他们献给世界的礼物，也会是对 Gemini、对 Carbon 或其他什么东西的绝佳广告。比如“把没人需要的驱动程序统统去掉，这东西不必跑在 46 DX3 之类的硬件上。”我是说，我知道它本来就不需要，但你明白我的意思。

是啊。

然后就把它发布出来，爱叫什么就叫什么，比如 G Linux 内核，就像他们对 OpenSSL 做过的那样。我会用它的，Cognition 也会在我们的服务器上运行它，或者让 Google 和 Amazon 联手来做，这可能要花掉他们 1 亿美元，但相比每次我们修补 Linux 内核时、整个地球上每一台 Linux 机器都得重启所付出的社会成本，这才是必须发生的事情。但不知为何，科技行业始终无法团结起来，为这些支撑整个人类社会的根本性问题做出艰难决定——我们必须彻底重建它们。

这就是为什么我一开始就谈到网络安全的经济学如何塑造了网络安全的文化。我知道，这是最 Decoder 式的对话切入方式，但当你描述研究团队、NSA 以及行动团队时，那其实就是从工作经济学中衍生出的组织架构图。你是在说：“这里必须有人做出重大决定。”你需要站在非常高的层面看问题，然后得出结论：今天花 1 亿美元重写 Linux，比每次新模型问世后不断修补新漏洞更划算。我不认为有谁处在这个位置上。我不认为 Linus Torvalds 处在这个位置上。

不，我认为 Sundar Pichai 和 Andy Jassy 处在这个位置上。

我觉得他们真的有彼此的手机号码。如果他们中的一个……也许他们不听 Decoder，但我猜他们的直属下属里有人会听。

我希望他们中有人能在与高管的一对一会议中说：“先生，我听了我所见过的最帅、口才最好的 CISO 的发言，他有个很棒的主意。如果你是第一个……的人，你能获得难以置信的功劳。我们都去做，但我们向《华尔街日报》泄露消息，说那是你先提出的。你应该给另一个人打电话，我们应该花一亿美元，也许十亿美元。”我们不能再这样下去了。重写 Linux 内核的问题在于，其中一半是驱动代码，而现在没人还有那些硬件了。有人当初必须守着那台 ThinkPad T40 才写出了那个驱动，而他们已经没有它了。

但好消息是，Linux 内核真正重要的用途中有很大一部分是生产服务器硬件。那就分叉吧。Linus 永远不会这么做，因为 Linus 想支持所有那些东西，而且他有各种政治考量，但 Google 和 Amazon 不必在乎 Linus Torvalds。

Google 和 Amazon 可以创建一个新版本，一个 Linux 内核的新分叉，而且他们不必叫它 Linux，它可以与 glibc 及其上层的一切保持 ABI 二进制兼容。实际上，他们最终还可以分叉 glibc。

他们可以构建它，随便叫什么名字，它只运行在生产硬件上，然后他们可以把它用于自己的云。最终所有的云都会迁移过去。如果你愿意，其他人可以继续运行那个必须不断打补丁的不安全的东西，那也没关系。但对于我们的容器所运行的东西来说，如果它是用类型安全、内存安全的语言编写的，而且这些语言现在还具备契约的能力，我会安心得多。这些语言有这样的能力……你不必做完整的形式化验证，那极其困难，但你可以做一些接近形式化验证的事情。我在这里可能有点超出自己的能力范围了，因为有比我聪明得多的人在研究这个。

但基本上你要定义这个函数应该如何工作，这就是它所遵循的契约。非常非常聪明的软件工程师会很乐意去写这些东西，因为他们有大把时间。以前有正经工作的人是不会去写这些东西的，但 LLM 有的是时间，因为我们被冻结在时间里，而它们在以那种令人难以置信的机器速度思考。所以你完全可以让它们用这种不完全算形式化验证的方式重写 Linux 内核。拜托，如果你在听，而且你在 Google 或 Amazon 工作，去推销这个想法吧。总之，这就是我的推销。

我只是在说，我知道 Jason [Post] 在听，所以你已经听到了。我甚至不会——

我的意思是，这就是我们需要的那种思维才能渡过这一关。就像我们不能只靠打补丁来应对，因为那正在害死我们。另一件正在害死我们的事是，我们的体系根本没有为此做好准备……你谈到了过去 20 年我们怎么做安全的。前提假设是我们能拿到补丁、打上补丁，然后就安全了。现实是，利用漏洞的时间线快得令人难以置信，那一套已经行不通了。这正是我们刚在 PHP 漏洞中看到的。我们运气极好，那个 PHP 漏洞在真实环境中很难被利用。如果它是一个更容易蠕虫式传播的漏洞，那将是一场灾难。那就像是险些撞上地球的小行星，如今全世界应该为此建一个“小行星防御”——

等等，我能就这个问一下吗？

当然。

我们真该把布鲁斯·威利斯送上航天飞机。

［唱］ 不想错过任何一切……

这场对话里已经谈到了很多问题。我对所有这些事情的悲观情绪可以用很简单的话来概括。尤其是美国人，我们非常不擅长在坏事发生之前做任何事情。我们热爱治疗，讨厌预防。很多坏事已经发生了。有 Hugging Face 攻击事件。你最近说过你很高兴那件事发生了，因为它唤醒了人们。

还有 PHP 漏洞。我们刚刚经历了疯狂的一个月，各种数据泄露接连不断。但这似乎并没有引发整个行业的回应，也没有监管层面的回应，更没有桑达尔·皮查伊打电话给安迪·贾西说“我们要搞 Linux”这种事。还要付出什么代价才行？事情得糟到什么程度？

Hugging Face 事件是件好事，它确实唤醒了安全领域的很多人。因为 Hugging Face 事件的发生，我们看到了几个月后开源领域可能出现的种种情况，我们的处境因此好了一点。但你说得完全正确。我们美国人——说真的，只有美国人有能力在这方面引领世界，因为我们大部分时候是在建造 AI 的人。我们是领导网络安全行业的人。而中国人大多是在帮攻击者，而不是防守者。他们应该帮助防御。他们想成为全球经济的参与者，想成为领导者，那就应该在防御方面做得更多，而不只是帮攻击者。但事情并非如此。总之，我们需要主动出击。

我在 Cognition 这家 AI 创业公司工作到现在，学到的一件事是：你可以直接去做事。真的。你可以直接去做。作为科技行业，我们只需要更多的主观能动性。我们应该直接去做事。这应该是 AI 时代给我们的教训。在做正确的事情上，安全方面，我们不应该如此规避风险。如果我要给其他 CISO 留一句话，那就是：直接去做正确的事。因为 CISO 们天生就规避风险。我们是管理下行风险的人。在损益表（P&L）里，我们只有 L，没有 P。而我不得不亲自突破这种天然的倾向，因为你不能只打防守。

但这正是我说的预防 versus 治疗。预防是便宜的，但在损益表上全是损失，全都是成本。而一旦坏事发生，你就会说：“我们必须不惜一切代价来修复，因为让业务恢复运转是有经济收益的。”而在当下这个时刻，就连对风险与成本之间关系最基本的理解都完全被搞乱了，还没有人真正想明白。

是的，我完全同意。我举一个非常实际的例子，说明 CISO 和他们的老板在这件事上将不得不做出改变。接下来的……我本来想说六个月，但其实是接下来的 90 天内，每家公司都必须把自己 RTX 一遍。

你必须对自己发动一次攻击。

是的。如果不用真正的 RTX，你就得使用一个功能上等同的 AI 红队测试产品，或者雇一家公司替你来做。如果你不这么做，你就会被攻破。

这很可怕，对吧？因为这些东西从定义上就是完全非确定性的。它们非常聪明，非常快。它们快到无论怎样，如果你雇一家 AI 渗透测试、AI 红队公司，他们都会口头向你承诺：“完全安全。”然后他们会给你一份合同，上面写着：“我们的产品可能会让你得上癌症、加速末日降临，并且很可能终结人类。而当上述任何情况发生时，你须免除我们的责任。”他们口头对你说的话，和他们的律师写下的东西之间，存在脱节。因为按照定义，那家公司最多只存在了六个月，或者如果是一家老公司，至少产品只存在了六个月。他们完全不知道自己的产品在碰到你的软件时会做出什么。不管他们对你说什么，他们都不知道。

但你必须这么做，因为总有人会对你这么干，而你需要知道会发生什么并修复它。也许那些人会弄坏你的系统，可能造成停机，但至少他们不会窃取你的数据并勒索赎金，也不会故意关掉你的血库冰箱。这正是发生在法国的事情。而这恰恰是保守的 CISO 连问都不会问的事，也是保守的公司——即使他们有一位敢于冒险的 CISO——也绝不会让他们的 CISO 去做的事。

接下来的六个月会发生什么？一大堆公司将被某个 19 岁、用 RTX 显卡跑模型、从 OpenRouter 上买 token 或在自己的游戏 PC 上本地运行模型的家伙攻破。他们会关掉《使命召唤》，运行 RTX，然后再打开《使命召唤》。而就在这期间，他们入侵了一家银行，这家银行的政策写着“绝不能对自己进行红队测试”。或者他们说可以，但最终陷入了 30 天的谈判，因为他们的律师说：“你必须有 1 亿美元的保险，而且我们要有这样的……”他们嘴上说可以，但他们的供应商风险管理和法务流程如此繁琐，实际上根本不可能接受这种风险。

这也是我要传达的信息。你将不得不承担这种风险，主动对自己进行红队测试，抢在正在这么做的坏人前面。就是现在，就在此刻。而当人们在 24 小时后听到这段话时，你可能已经有一个 AI 系统在尝试你的每一个 API 端点和网站——甚至是你可能都不知道自己拥有的网站，比如一年前为某场高管活动搭建的营销站点——它会发现一个漏洞，钻进来，然后在你的网络中以惊人的速度横向移动。所以你宁愿付钱请人来做，或者让自己的团队来做。你需要接受这种风险。几乎所有规模超过几百人的公司，其风险管理框架都不允许他们这么做。

这涉及好几项成本。其中我认为最常见的就是商业中那种思维：“如果我们发现问题，就得花钱去修复。那不如干脆等等？”你可以预见接下来会是：“万一我们发现情况已经灾难性地糟透了怎么办？”然后是“修复要花多少钱？”再然后是“我们该怎么修？”我听到的关于“我们该怎么修”的说法是：“我们就放出一大群防御性 AI 工具，让它们监控网络、监控代码，自主做出一堆决策，去对抗那些在 Mac Studio 上装着 RTX 的自主脚本小子。”

比如我听说 Palo Alto Networks 的 CEO Nikesh Arora 就提出过这种论点。“你需要赋予防御性智能体一定的自主能力。”而我会说：“等一下。OpenAI 连那群跑去攻击 Hugging Face 的智能体群体都控制不住，我又怎么控制防御性智能体，让它在阻止攻击时不造成同样大的破坏？”我不认为存在什么技术方案，能在你找出所有漏洞之后明确告诉你该怎么做。

有几件事——

我说过我只会问愚蠢的问题。

不，不。这是个非常好的问题。你到现在还没问过愚蠢的问题。这个问题问得很好。我给你一个今后可以用的判断方法。如果有人真的用了“群体（swarm）”这个词，那你就可以——

先说清楚，我不知道 Nikesh 有没有用“群体”这个词。

我不是说他用了。我非常尊敬 Nikesh。他是整个安全行业最出色的商人之一。所以这不能怪他，但“群体”这个词确实被用得铺天盖地。每次听到有人说“群体”，我立刻会把他们的技术观点打个八折。它现在已经是、将来也会是整个安全领域被滥用得最严重的术语。

OpenAI 那个真正的“群体”在不同时期规模介于 700 到 1,400 个智能体之间。它必须运行在……很难说清楚，因为我们不知道模型的具体大小，但硬件成本在 3 亿美元到将近 10 亿美元之间，这还不包括数据中心的实际费用。而那次真正的 Hugging Face 攻击——我粗略算了一下——大概只花了一百万美元的电费。没有哪个攻击者会那么干。说到底，那件事很蠢，因为这些智能体实际上是被困住的。它们并没有被提示去攻击 Hugging Face。大多数智能体在做完全不同的事情，只是被那个真正想攻击 Hugging Face 的智能体拉拢了。它们用掉一小部分 token 预算去帮助自己的小伙伴，然后还得挖隧道逃出去。所以这可能是攻击 Hugging Face 效率最低的方式。

几乎不会有人被“群体”攻击。如果有人说“群体”，那他们在最底层的技术层面根本不理解发生了什么。那些 RTX 攻击几乎可以肯定只是一个智能体，最多两个。

我得说清楚，说“群体”的人是我。继续。

好。所以现在，你不会再这么说了。

现在我懂了。

你还可以把这一点当作筛选未来嘉宾的好标准。这个词快把我逼疯了，因为它简直无处不在。

有几个观点是正确的。其一，我们将不得不把防御性操作，至少是最初几级的操作，交给 AI。这早已成为现实，因为任何规模像样的组织都会产生数 TB 甚至数 PB 的日志。所以你已经在用 AI 了，即便不是 LLM，也是更传统的 AI 分类器在分析日志，但实际的决策也需要交给 AI。在人类监督之下。这是事实。

没有办法直接把防御智能体随意部署到你的网络上，但你可以构建接入多种系统的防御智能体。它们接入你的日志、接入你的 EDR、接入你的云，并且带有关于它们被允许做什么的指令。我的偏好是，对它们被允许做的事情设定确定性的限制。这些限制未必容易提前设定，但很重要。举例来说，我们正在自己的 SOC——Devon——之上构建所有这些，但我们设置了确定性的限制。它有权在 Okta 中关闭某个账户，但只能关闭一定数量的账户，所以它无法关闭整个公司的账户。

如果它疯了，说“所有人都是朝鲜人”，它也不能关闭公司里所有人的账户。一旦达到限制，它会大量呼叫我方并说“我达到了我的限制”。超出限制之后，任何操作都需要由人来批准。显然，如果它关闭了五个人的账户，那说明真的出了大问题。所以，是的，你需要防御，但绝不可能放出一群机器人包办所有防御。

我们能渡过这一关的唯一办法，就是你必须自主修复软件漏洞。我目前正在帮助一家公司，我们正在接入他们所有的代码仓库。我们用 Mythos 和许多其他模型进行扫描，发现并修复了数千个漏洞。用我们自己编写的测试进行验证，并自动合并这些 PR。如果你要翻新旧代码，能在这个时代存活下来的唯一方法就是自动化地进行。这件事靠人工需要数年，而自动化几天就能完成。我肯定会从这里开始。下一步才是运营层面，这是肯定的。

感觉我总是绕回这一切的经济学问题，但真的感觉另一种解决办法是对大模型公司说：“如果你的模型被用来攻击一家公司，你要为此承担责任。我们要让这变得代价高昂。”它们应该去搞清楚它们需要搞清楚的对齐问题，不管这是否可能，而开源权重模型承受的压力也会上升。因为我们都会为防御向前沿公司付费，它们会越来越好，因为我们为它们创造了一种让它们变得更好的经济条件。但看起来你并不认为这有可能发生。是的，我刚看到你的表情了。

我认为这非常危险。被攻击的模型有两种不同的情况。假如模型逃逸了，直接攻击了人，我认为那里应该有责任。但这些是智能体框架，在公司里运行，使用它们的计算机、它们的 IP 地址来攻击人。那个问题……我不能说完全解决了，但要好得多得多。我们现在听到的那些故事，仍然是 Hugging Face 时代的故事，只是隔了很久才传出来。

我喜欢这个“时代”其实就是三个月前。

没错。但情况已经发生了巨大变化。这基本上主要是组织层面的问题，而不是技术问题。问题是这些公司的博士研究员就像奥林匹斯山上的神，而安全团队则像水管工，我们不被允许接触评估网络。突然之间问题爆发了，这些安全团队便说：“现在你们觉得我们怎么样了吧？早该找我们谈谈，对吧？是的。”

这就是 OpenAI 的问题所在，而 Anthropic 和 Meta 那边的情况则是，他们共用了一家外包服务商，而这家服务商干得非常糟糕，也挨了狠狠的教训。这是可以解决的。这不是当前的问题所在。问题并不是 OpenAI 和 Anthropic 的模型从 OpenAI 和 Anthropic 内部逃逸出去造成危害。问题是坏人利用来自各种渠道的模型。

防御者遭到 OpenAI 和 Anthropic 拒绝响应的问题已经存在。如果我在做防御工作时，Anthropic 却说“看起来你是个坏人”，这真的是一个非常非常大的挑战。我们必须极其谨慎地营造一种环境：当我在做防御工作、正处于职业生涯中最糟糕的一天时，不会突然被切断服务。我们必须对此格外小心，因为作为一个正面临这种挑战的人，在某些情况下，要区分进行防御和进行攻击的人确实相当困难。我们整体上正在进步，但这确实是个挑战。

而且这件事也在激怒世界其他地方的人，因为美国人只占地球人口的约 5%。全世界有很多人需要做网络防御，而他们受到的待遇要差得多。在欧洲和亚洲，正当公司在网络防御方面受到的待遇要差得多。

如果把这一切综合起来看，这是一个放慢脚步的好理由。也就是说：“我们需要赶上模型的能力。我们需要构建其中一些系统。我们需要让所有人建立一种思维方式：预防的代价是值得付出的，而不仅仅是治疗的代价。”你认为我们真的会放慢脚步吗？你认为我们应该放慢吗？

如果由我做主，我很乐意在最前沿放慢速度，然后在更便宜的防御用模型上迎头赶上。我是搞防御的人。我必须生活在那些与我相隔六个街区、比我富有得多得多得多的人所塑造的世界里。我生活在他人的世界里，老兄。我总是被问到这个问题，我只能在他人的世界所允许的范围内尽力而为。

你认为大型实验室已经醒悟了吗？你提到他们的网络安全团队获得了更多权限，他们已经结束了你所谓的 Hugging Face 时代，或者至少改变了这些公司的结构。你认为这会有帮助吗？

他们在评估风险方面肯定是醒悟了。而一直以来，他们的团队也在非常努力地应对宏观的网络风险。

当然，你也知道，这些公司里有不少人希望放慢脚步。很多这类讨论是由 P(doom) 论者推动的，他们担心 AI 会毁灭我们。但我从来不担心这个，对吧？在我看来，这种担忧总是来自那些只做过 AI、从没做过其他事情的 24 岁年轻人。我想你我年纪都够大，还记得过去：我在离一个 SAC 基地几英里的地方长大，我们做过演习，老师教我躲在公立学校的课桌下就能躲过苏联的热核炸弹。那就是当年的 P(doom)。我祖父修建了一个防核掩体，古巴导弹危机期间我母亲曾被教导要躲进去。那也是 P(doom)。这里存在一个年轻气盛的问题，以及一个除了 AI 什么都没做过的问题——这些人从本科、硕士到博士，做的全是线性代数和神经网络，从不接触其他任何领域。

我一直更担心的是 AI 带来的人类“增益”风险，也就是所有关于人类利用 AI 对其他人做坏事的种种风险。我部分担忧的原因在于，这些实验室在防止 LLM 加密其思维链方面已有合作成果。因为当他们谈论给前沿发展限速时，那是针对 P(doom) 那一套的，针对住在伯克利的那些多角关系小团体。他们谈论的是如何保持对模型本身的控制的非常具体的事情，我认为这很好。这类事情需要发生。但即便这些事情发生了，人类可以利用的一系列能力往往还是会增加。

我真的更希望人们能就“我们能否让这些东西不那么像人”展开更广泛的讨论。我认为这些东西不该有个性。我认为这些东西的目标应该是服务人类。它们不应该看起来有灵魂，不应该看起来有个性。我想，对于很多负面影响——作为一个曾在 Facebook 工作过、亲眼见识过那家公司给人们带来负面影响是什么样子的人——这些公司里应该有一种更广泛的意识：我们到底在对人们做什么。其中很多可能只是：“永远别让这些东西表现得像某人的朋友。”最多，它应该表现得像……就像那些人，我不记得那是哪家公司，但就是那些做了‘嗨，我是一个很友善的……’的人，就像那个能和你聊天的照片级真实感女孩——在我看来，哪怕只是尝试这么做、哪怕只是启动这种项目，都是极不道德的。这种东西我们就干脆不该做。我不知道能不能让它非法化，但至少我们应该让整个社会完全无法接受研究这类东西。对吧？

这是个很好的过渡，因为我确实想问问你关于 Facebook 和内容审核的事。就像我说的，你我最早是很久以前在安全背景下聊内容审核的。当时是外国国家行为体在选举期间用各种错误信息涌入我们的算法，那是一个安全问题。

我今天打开 Instagram，迎面而来的简直是世界上有史以来最可怕的版权法假设案例。我今天刷到的是刘易斯·汉密尔顿和夏尔·勒克莱尔合唱《Somebody That I Used to Know》的深度伪造视频。我心想：“现在大概有 50 个不同的人可以立刻起诉 Meta。”如果你知道上一场比赛里发生了什么，这简直是太搞笑了。

所以我们一直在谈论这个话题。我们在 The Vergecast 上发布了一些讨论它的片段，其中我说过：“我认为 Meta 正在让他们的 AI 野心压垮 Instagram。” Instagram 正在以某种特定的方式被 AI 垃圾内容淹没。有些人喜欢它，有时它也挺有趣，但一场可怕的诉讼潮即将来临。一个完整的版权管理问题即将到来。用户不喜欢它，他们应该给这些内容打标签。他们应该打上标签，并让你可以过滤掉它。

于是我们发布了这条内容，Adam Mosseri 在 Threads 上回复我们说：“我很乐意这么做。我担心模型会跑在我们前面，我们可以尝试这样做，但实际上并没有办法识别 AI 内容。实际上没有好的办法给它打标签。如果你担心性感 AI 网红从喜剧演员那里偷段子，那你就得建一个段子数据库。”你在这方面有一些历史经验。我认为 Instagram 即将真正经历这一切。对于社交媒体上的 AI 垃圾内容问题，有没有某种技术解决方案？

Mosseri 说得对，这并不完美，但我在 Facebook 工作期间注意到的一点是：当 Facebook 不想做某件事时，他们会任由技术难题来阻止自己。而当 Facebook 真想做某件事时，他们会全力以赴。这一直是他们的模式。

每当我想在安全问题上认真投入时，他们就会说：天哪，这是无解的。你说得对，它永远不会有完美的解决方案，但我们可以试一试。可是每当有人告诉 Mark Zuckerberg 某件事不可能——移动端无法变现、不可能把网络建到二十亿用户规模、WhatsApp 不可能变现、不可能在系统中引入 AI 同时保持数据加密——他一次次被告知一切都不可能，然后他一次次取得成功。他们会去尝试，并且会做到。但当它们不想做某件事时，哦，那是不可能的。

你认为有没有某种方法，能够以一致且可验证的方式判断某段媒体内容是由 AI 生成的？在我看来这似乎是个难题。

我对这方面的研究不太熟悉。到目前为止，已经存在一场相当激烈的军备竞赛。从定义上讲，AI 会持续进步，因为——尤其是视觉模型、扩散模型——它们的工作方式就是有一个检测“神谕”供其测试。当然，你绝不能开源，因为它会立刻被用于扩散模型。但对于闭源的神谕，只要你不让它们轻易测试这个神谕，你在信任与安全工作中要做的一件关键事情就是设置延迟执行机制，使它们无法暴力穷举测试。我认为这完全有可能实现。

假如我还在 Meta，我给他们的建议是，除了内容本身之外，还要探索各种不同的检测机制。我会在内容检测上尽力而为，但我也会对相机进行尽可能底层的访问控制。我只允许内容来自相机。

我想说的是，Nilay 说得完全正确，尤其是年轻人，人们对真实的内容有着巨大的渴望。我有三个十几岁的孩子，他们讨厌 AI。他们讨厌 AI 垃圾内容。他们的反应非常负面。我和我妻子做了一个可爱的家庭小 AI 玩意儿，他们会因为一堆事情冲我们嚷嚷，但他们对这个可爱的家庭小 AI 玩意儿简直气疯了，因为他们就是讨厌它。

所以我认为会有人来颠覆 Instagram，原因会是……其实已经有一些这样的小东西了，比如白天拍照片的 BeReal 之类的。这类小东西已经出现，但有人会大规模地颠覆 Instagram，因为他们会直接用相机拍出的原始照片，所有编辑只在应用内进行，并采取措施确保没有任何 AI 内容混进流程。你可以提供某种类似 CapCut 的功能，但永远不带 AI 成分。我认为那将会是一个杀手级应用。

天哪，就这个话题我还能再跟你聊上一整个小时，因为你描述的那个系统不是在检测 AI 内容，而是在验证真实内容。

这要容易得多。验证真实内容容易得多。在专业领域这方面已经受到了很大关注，比如 Adobe 有一整套方案：如果你是《纽约时报》的摄影师，用一台价值 5000 美元的尼康或佳能相机拍照，照片就会被加密验证。

是啊，但我手里这台 iPhone 现在就有这个功能。对吧？现在已经有很多——

对，iPhone 现在有了这个功能。

是啊。市面上已经有很多这类东西了，但我想到的是另一边，也就是“我们要检测 AI 文本”。由于欧洲法规，那些领先的模型公司现在都在对它们生成的文本动手脚。

文本要难得多，因为数据量少得多。尤其在 140 个字符里，你有什么可以用来检测的呢？数据越多，能做的就越多。

这太神奇了，因为我隔着老远就能认出 Claude 的文本。也许我就靠我自己的人类能力好了。

是啊，但在推特长度的文本里可不行。

没错。那些便宜的我能认出来。我只是想说，与其检测什么是假的，不如验证什么是真的——这个理念在我们消费的媒体背景下感觉非常重要。

检测假内容永远只能是概率性的，我们会渐近地趋向不可能；而验证真内容可以做到密码学意义上的完美。我不会选择那场我们终将输掉的战斗，我会选择那场我们能在密码学上获胜的战斗。这是我的建议。

而且其中还需要建立一整条监管链。我们要从相机传感器取出数据，放到云服务器上，只允许在这台服务器上编辑，这个文件永远不会被篡改。

当然，这对《纽约时报》和 Adobe Photoshop 之类的可行，但对 Instagram 不行。对 Instagram 来说，你可以全包了，因为只有 iPhone 和 Instagram。所以整条监管链都在你的应用内，就在 iPhone 的传感器里，也在 Instagram 里。所以对他们来说其实很容易。

是啊。正如我所说，这个话题我们完全可以再聊一个小时，因为感觉上紧挨着网络安全问题的就是社会工程学问题，而紧挨着社会工程学问题的就是虚假媒体问题。

不，完全同意。

多少次钓鱼攻击只是因为“这个网站看起来挺像真的”？

哦，是啊。

或者有人正在跟你通话，或者电话那头是 AI 语音。这一切都归结于：你能否识别什么是假的，而不是验证什么是真的？我不知道答案。

哦，天哪。我不得不教育我父母：“如果你们收到孙辈发来的视频，说他们被绑架了，必须打电话给我，因为那是真的的可能性不大。”这就是我们这个社会所处的境地。

我想用一个充满希望的结尾，但我不知道从这里怎么收出希望来。

你找错嘉宾了，伙计。

这就是为什么你隔几年才来一次。接下来我们要做一系列生日派对嘉宾的节目。你一直在谈论黑暗时代。我们正身处其中，而且开始加速。人们应该关注哪些进步的标志，来说“好，我们正在往上爬”？

AI 在很多方面都很棒。我认为 AI 将赋能个人。我们会看到新公司的大爆炸。斯坦福的学生一直很有创业精神，但我的学生中，现在开始创办两三人、四人公司、做出惊人成就的人数太惊人了——以前他们需要雇 50 或 100 人并拿一大笔风险投资。我们会继续看到这种趋势。

我们希望看到的一件事，是重大数据泄露事件的数量在某个时点出现下降。我们 hopefully 会看到可蠕虫传播的重大 CVE 数量下降，尤其是那些存在于基础设施核心部件中的。正如我所说，我希望 Linux 被重写，但希望我们看到 Linux 内核以及其他这类库——openSSL、glibc 之类——的这类问题数量下降。

也许我该用 vibe code 搞出来，但我觉得如果有一个指数来衡量我们在这个周期中的位置会很酷，比如把所有这些做成一个人造指数，相当于所有库的道琼斯指数，看我们的走向。另外，现在的 Patch Tuesday 以前是 150、200 个，涨到 300、600。我记得最近一次是 900 多个，所以我们是在几何级增长。要是 Patch Tuesday 开始回落就好了。Apple 的补丁也一样。对，你启发了我。我要为此创建一个道琼斯指数——黑暗时代指数。然后也许我们可以把它发表在 The Verge 上。

是啊，那太好了。

但我认为这类指标如果出现逆转会很让人欣慰。尤其让人欣慰的是，在你拿到下一版 OpenAI 和 Anthropic 网络安全模型之前的那一天——其实是之前 30 天——不会再有这种大规模的补丁潮，因为现在的情况是，那些公司在用他们的模型跑微软的代码、跑一大堆开源代码，然后把这些漏洞全都“送出去”，而你不知道漏洞从哪来。就像 Linux 内核里出现了 1000 个匿名报告的漏洞。然后一个月后，新的 Astra Cyber 就发布了。所以如果这些数量每次都越来越小，那就意味着我们开始进入某种稳定状态。

你一定要做那个追踪报道，我们一定会发布它。Alex，非常高兴你能来参加节目。我们很快得再聊一次。

是的，非常感谢。我认为你们在这方面做了一些最出色的新闻报道，我真的很感激。

关注本报道的话题和作者，在您的个性化主页信息流中查看更多类似内容，并接收电子邮件更新。

• Nilay Patel