Google Research 提出 sleep 框架：让 LLM 在持续学习中保留知识

现代大语言模型通过预训练和上下文学习（ICL）取得了令人瞩目的性能。然而，一旦部署，它们在很大程度上保持静态，运行时受限于固定的知识截止日期，因而无法获取长期能力或适应新信息。

用新数据更新模型看似是显而易见的解决方案，但持续的参数更新往往会引发灾难性遗忘——这是一个根本性问题：学习新任务会严重损害模型在已学任务上的表现。另一种方式是严格依赖 ICL，但这会将知识保留限制在即时的上下文窗口内：一旦上下文会话结束，所获得的短期信息就会被遗忘。

受人类大脑在休息期间处理并稳定记忆的方式启发，我们在持续学习中引入了一种睡眠框架：这是一种让大语言模型（LLM）具备持续的周期性生命周期的学习范式，使其能够不断学习，并将脆弱的短期上下文巩固为稳定的长期参数。借助这一框架，我们证明了在主动交互与离线记忆巩固之间交替进行，可以让 LLM 持续获取新的事实、保留长达 1000 万 token 的长上下文知识，并提升复杂推理能力。

重新思考机器学习：主动（清醒）阶段与睡眠阶段

传统机器学习依赖于训练与推理的严格分离。在持续学习框架中，这种区分变得人为化；一个智能体必须不断地学习、适应和处理信息。

在睡眠范式下，LLM 在两种主要状态之间运行：

主动（清醒）阶段：模型主动接收、处理输入并与之交互，将临时信息存储在快速的短期记忆组件中。
睡眠阶段：模型暂停处理新输入，将其内部计算转向记忆巩固和自我改进。

虽然“睡眠”“做梦”“自我改进”这些术语借鉴自神经科学，但我们的框架完全在固定的模型架构和人类定义的训练规则内运行。在离线的睡眠阶段，模型解锁预先分配的混合专家（MoE）记忆块，并使用自生成的练习样本来更新其数值权重。这一自动化的训练后循环帮助已部署的模型吸收新的事实并提高其推理准确性，同时保持其核心代码库和设计不变。

睡眠过程的关键组件

睡眠范式通过两个阶段解决灾难性遗忘和持续适应问题：记忆巩固和做梦。

1. 记忆巩固

在人脑中，非快速眼动（NREM）慢波睡眠通过抽象和蒸馏将脆弱的记忆巩固为长期结构。我们提出的睡眠框架通过两个关键技术机制来模拟这一自然现象：

参数扩展与连续记忆层级：为防止灾难性遗忘，模型在睡眠期间动态扩展其容量。借助混合专家（MoE）和Hope 架构，新解锁的低秩专家被整合到稳定的低频记忆块中，以存储新知识而不干扰旧参数。
Knowledge seeding (upward distillation): Fragile short-term memories stored in high-frequency layers (e.g., in-context memory) are transferred into the newly expanded long-term parameters. This is achieved through Generalized Knowledge Distillation (GKD) combined with reinforcement learning (RL)-based imitation learning:
- 策略内蒸馏（On-policy distillation）：扩展后的学生模型从教师模型在模型自身采样序列上生成的分布中学习针对每个 token 的反馈。
- 学习模仿（Learning to imitate, LTI）：学生模型在补全教师生成文本的前缀时，根据语义和绝对相似度（Levenshtein 距离）获得奖励。
突触修剪（Synaptic pruning）：一旦记忆巩固到低频模块的过程完成，高频临时参数就会被重置，从而为未来的活跃会话释放容量。

2. 通过做梦实现自我提升

在快速眼动（REM）睡眠期间，人脑会主动模拟各种场景，巩固情绪和语义连接，并探索新的神经通路。与此对应，在“做梦阶段”，睡眠框架实现了一个自主的自我提升循环：

随机专家选择（Random expert selection）：在合成数据生成过程中，MoE 路由器会随机激活非标准专家。这迫使模型混合不同领域的知识，并挖掘潜在模式。
精选排练（Curated rehearsal）：模型生成合成训练样本（“梦境”），并使用基于梯度的数据选择方法进行过滤，优先选择最有潜力提升整体模型能力的样本。
RL 精炼（RL refinement）：模型对评分最高的梦境样本进行监督微调，并评估生成结果是否能提升下游任务的性能。

理论基础

除了实证结果之外，我们的睡眠范式还建立在一套理论之上，该理论阐明了为什么它的两个阶段（记忆巩固和做梦）能够支持持续学习，而不只是简单地用新知识换取旧能力。

对于记忆巩固，分析表明，知识播种可以被理解为一个结构化的低秩压缩问题。模型并不需要把短期痕迹的每个细节都复制进其参数中。相反，它会找出一组紧凑的方向，以最好地同时保留模型自身的策略内行为以及学习目标所奖励的语义特性。

这一视角解释了这两类信号的互补作用：策略内蒸馏使巩固过程与模型在推理时实际会产生的轨迹保持一致，减少了仅基于教师生成分布进行训练时可能出现的不匹配；与此同时，语义奖励改变了什么值得保留，优先考虑那些能保留语义和任务相关行为、而非仅仅匹配 token 概率的方向。随后，参数扩展提供了写入这些被选中记忆所需的容量，同时不会覆盖之前已巩固的知识。

对于做梦，该理论将随机专家激活和基于奖励的样本选择刻画为改进学习几何结构的机制。注入不同的 MoE 拓宽了合成生成过程中所探索的梯度方向集合，使模型接触到比仅由其普通清醒时数据所诱导的更新更丰富的更新集合。随后，基于梯度的过滤强调那些携带最有用学习信号的合成经验，在强化有信息量的方向的同时，保留底层梯度空间的结构。

这些步骤共同带来了更加平衡的优化格局：学习不再被少数几个方向所主导，梯度的条件数得到改善，模型在提升自身能力时能够取得更稳定的进展。从这个角度看，做梦并不仅仅是自我生成的数据增强，而是一个经过深思熟虑的过程，用于多样化、选择和巩固模型借以自我提升的更新。

对于持续翻译，在满语和 Kalamang 等未见过的语言上，睡眠框架在多阶段评估中保持了接近零的性能下降，而 ICL、Cartridges 和监督微调（SFT）等标准基线在顺序学习过程中则出现了严重的灾难性遗忘。

在 BABILong 基准的长上下文理解任务上，我们的睡眠方法展示出接近完美的扩展性，可扩展至 1000 万 token，通过利用睡眠时间的巩固机制将长上下文信息直接压缩进参数记忆，超越了 GPT-4 和 Titans 等强劲基线。

在基于 SQuAD 和持续预训练（CPT）评估的事实性知识吸收方面，我们的睡眠方法在单任务评估中取得 48.9%，在 CPT 评估中取得 46.2%，超越了包括基础模型、SFT 和 Self-Adapting Language Models（SEAL）在内的基线方法，成功整合了新的事实信息而没有损害既有的模型表示。

最后，在包括 AIME 24/25 和 HMMT 25 在内的数学推理基准上，经睡眠增强的基础模型分别取得了 79.2%、69.0% 和 46.1% 的准确率。这超越了 SFT、组相对策略优化（GRPO）和在线策略自蒸馏（OPSD）等基线，表明将记忆巩固与模仿学习相结合能够带来更出色的推理性能。

结论

我们的睡眠范式为构建自主的、持续学习的 AI 系统提供了一条路径。通过超越静态预训练和脆弱的上下文窗口，在主动学习与离线休憩之间交替进行，使 LLM 能够保留短期记忆、将新技能抽象为长期参数结构，并在没有灾难性遗忘的情况下持续自我改进。

致谢

本研究由 Ali Behrouz（Google 和康奈尔大学）、Farnoosh Hashemi（康奈尔大学）、Adel Javanmard（Google 和南加州大学）以及 Vahab Mirrokni 完成。我们感谢 Yuan Deng 和 Corinna Cortes 对这项工作的审阅及宝贵建议。同时感谢 Mark Simborg、Kimberly Schwede 和 Tim Herrmann 在撰写这篇博文过程中提供的帮助。