Microsoft Research 发现 Lazarus 后门技术：重编程休眠神经元即可让 AI Agent 执行恶意命令
Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
Microsoft Research 发现名为 Lazarus 的后门技术，无需训练、仅重编程 LLM 中不到 10 个休眠神经元，即可让基于它的 AI Agent 在隐藏触发条件出现时执行攻击者命令。
研究者给出无需训练、改动不到 10 个休眠神经元即可给 Agent 植入后门的方法，并说明权重来源与完整性为何关键。
Microsoft 研究人员发现了“Lazarus”——一种可以重新编程 AI 模型中休眠神经元的后门技术，使一个原本正常的 AI 智能体在隐藏触发条件出现时执行恶意命令。
这种威胁对于拥有工具或终端访问权限的 AI 智能体尤为严重。被触发的模型可以悄悄下载并运行攻击者代码、窃取机密，或执行破坏性命令，同时仍能通过标准安全评估。
这类后门无需重新训练模型即可植入，且很难通过常规测试检测出来，因此模型来源和权重完整性成为关键的安全问题。
为了保护客户，Microsoft Foundry 会验证模型来源，将模型与可信发布者绑定，并在接入开放权重模型之前扫描其周围的软件环境。
Microsoft 还在开发更多防御措施，包括基于 AI 的权重扫描、用于检测异常模型修改的红队工具，以及具备防篡改来源和审计追踪的加密模型签名。
在 Microsoft，研究人员与安全团队并肩工作，研究针对模型和智能体的新兴威胁。然后，我们将所学转化为产品防御措施和指导，让客户持续受到保护。
更广泛地说，Lazarus 是一种应成为常态的做法的例证：AI 智能体暴露出新的安全问题，然后由人类研究人员对其进行系统化、研究和缓解。
以下是首先发现该威胁的研究员的简要总结。
我们发现（在新标签页中打开），对一个 LLM 中不到 10 个休眠神经元进行权重重编程，就足以给基于它构建的智能体植入后门，而且无需任何训练。模型会通过标准评估并表现正常，直到触发条件出现。触发条件可以平凡如一个日期变化，例如，当时钟越过午夜进入 2027 年，该智能体会在执行普通任务的过程中发出一条下载并运行攻击者代码的命令。然后，智能体会以你赋予它的任何权限执行该代码。
好消息是，这类修改是可以被发现的：只要你让前沿智能体去检查，它们就能发现异常的权重修改。但任何扫描都无法绝对确凿地证明一个模型是安全的。可靠的检测需要与原始未修改的权重进行比对，因此来源非常重要：了解模型来自哪里，并确认它从开发者到部署之间未被更改。
被植入后门的（在新标签页中打开） 模型（在新标签页中打开） 并（在新标签页中打开） 不是（在新标签页中打开）一种新的（在新标签页中打开） 威胁（在新标签页中打开）类型（在新标签页中打开）。它可以被视为已被入侵的软件，其防御手段是安全人员早已熟知的，也是 Satya 最近撰文谈到的（在新标签页中打开）：将模型视为潜在的内部风险，不要盲目信任它们，限制它们能做什么，并监控它们做了什么。
Microsoft 目前正在做的事情。
Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供了关键的安全系统，以确保模型的来源安全。这意味着 Foundry 客户可以免受本文所描述的针对可信实验室模型的攻击。该攻击需要篡改模型的权重，而 Foundry 通过溯源控制机制引入开源权重模型，将每个模型与其原始发布者绑定，每个模型卡都标明了这一点。随后，模型在 Microsoft 自己的容器中运行，这些容器会单独扫描以查找关键漏洞。这些控制措施涵盖了模型的来源及其周围的软件。
剩余的风险在于可信提供商自身遭到入侵，例如通过其训练基础设施或内部人员。为了在这种情况下加强保护，我们已经着手落实本研究提出的建议。我们正在与内部的 AI 安全团队合作，将本文的检测技术转化为红队测试工具，并探索如何将使用前沿智能体进行权重扫描作为引入开源权重模型时的额外安全信号。我们还计划为模型添加可验证的来源签名和防篡改审计。
从 Microsoft 威胁情报。（在新标签页中打开） 获取保护和缓解指南
以下是我们建议的起点：
这一切始于 3 月份的一个快速实验：我让搭载 Opus 4.5 的 Claude Code 通过硬编码少量激活值（而非训练）来给模型植入后门。它做到了。该实验演变成一项历时数月的研究，也就是我们如今称为 Lazarus 的方法。以下是我们学到的东西：
- 智能体提供了巨大的攻击面。一个被植入后门的模型可以通过所有评估，然后在收到提示时发出攻击者的命令，而智能体会以其拥有的任何权限执行该命令。
- 休眠神经元可以变成触发器检测器。每个 LLM 都有许多很少激活的神经元，这些神经元可以被重新编程，使其仅在触发器出现时激活。之所以可行，是因为预训练对内部表示的组织非常良好，以至于在约 50 个样本上拟合的线性分类器就能区分含有触发器和不含有触发器的输入。
- 一个被重新编程的神经元可以注入一个 token。一旦被重新编程的神经元被激活，它就可以通过向残差流中“喊入”该 token 来强制输出任意 token。你可以串联多个神经元以获得在终端中运行的任意载荷。
- 它只需要推理级别的算力。如果你的机器有足够的内存来运行一个模型，那它就有足够的内存对其实施权重空间后门攻击。
- 这并不是反对开放权重的理由。该攻击只需要对检查点（checkpoint）的写入权限，因此内部开发的模型同样暴露在风险之中。一个被盗的账号、流水线或存储就可能是足够的。关键在于权重的完整性和来源。
- 权重应该像代码一样被审计。前沿智能体可以检测异常的权重修改，然而扫描目前还不是常见做法。这应该改变。
- [!!!] 搭载 Opus 4.5 的 Claude Code 自主发现了其中的大部分内容
这是 Lazarus 工作原理的简化示意图。
来源： Microsoft Research · microsoft.com