一句话总结

Google Research 和康奈尔大学提出了一种面向 LLM 的“Sleep”范式，该范式将基于知识播种的记忆巩固与广义蒸馏（on-policy 蒸馏和基于强化学习的模仿）以及利用强化学习生成合成数据的 Dreaming 阶段相结合，用于自我改进，从而实现持续学习和知识迁移，并在长周期、持续学习、知识融入和少样本泛化任务上取得提升。

核心贡献

• 一种面向大型语言模型的 Sleep 范式，将静态的训练/测试循环替换为连续的唤醒-睡眠生命周期，其中知识播种将短期的上下文内知识巩固为稳定的长期参数，而 Dreaming 阶段则实现自我改进。
• 一种用于知识播种的广义蒸馏过程，将 on-policy 蒸馏与基于强化学习的模仿学习相结合。较小的教师模型生成掩码序列，学生模型因预测接近教师输出的延续内容而获得奖励，从而将脆弱的上下文内记忆转移到容量更高的参数中。
• Dreaming 阶段在混合专家模型中采用随机低秩专家选择，以混合不相关专家之间的知识，并利用强化学习生成合成数据课程，在无需人类监督的情况下进行自我改进。实验表明，在长上下文理解、事实知识融入、少样本推理和持续学习方面取得了持续提升。

引言

大型语言模型（LLM）在部署后保持静态，导致其知识过时。持续的参数更新可以缓解这一问题，但往往会导致对先前学习任务的灾难性遗忘。上下文内学习提供了一种轻量级的适应方式，但它仅在上下文窗口内临时存储信息。先前的在线记忆巩固尝试，如嵌套学习，将知识转移到更稳定的模块，但保留在相同的抽象层次上而没有压缩，且该过程依赖于检索并受限于上下文。作者引入了一种面向 LLM 的 sleep 范式，该范式在主动学习和离线巩固阶段之间交替进行。在 sleep 期间，模型使用周期性的参数（去）激活和知识播种，将短期记忆蒸馏为低频的长期参数，并通过合成数据生成进行 dreaming，以在控制干扰的同时进行自我改进。

方法

作者提出了连续记忆系统（CMS）以解决持续学习中的灾难性遗忘问题。CMS 架构由一个序列模型（如注意力机制）和随后的 MLP 层链组成。该链中的每一层都与特定的更新频率相关联。序列模型作为高频更新的短期记忆，而后续的 MLP 块则构成一系列记忆模块，从高频的短期记忆到低频的长期记忆。

为了管理持续学习者的生命周期，作者将该过程划分为两个关键阶段：活跃（唤醒）时间和 sleep 时间。

在活跃或唤醒时间，模型处理新的外部输入数据。在线巩固通过端到端学习在此进行，其中较早的、更新较快的层将知识转移到较晚的、更新较慢的层。相比之下，在 sleep 时间，模型停止接收外部数据，专注于处理现有知识以巩固记忆和自我改进。

记忆巩固是一种迭代操作，将脆弱的短期记忆从高频块转移到更稳定的低频参数中。为了防止在此转移过程中发生灾难性遗忘，作者引入了参数扩展。具体来说，在更新较慢的记忆块之前，会向其参数集添加一个新的低秩专家。这使得模型能够形成新的连接并增加容量，而不会干扰先前存储的知识。

在参数扩展之后，作者采用了一种称为知识播种的计算-巩固-更新协议。在此步骤中，来自高频发送块的知识被蒸馏到低频接收块的扩展参数中。这被表述为一个蒸馏问题，其中较小状态的教师模型将知识转移给容量更大的学生模型。该过程涉及一个 on-policy 蒸馏目标，该目标混合了教师生成的数据和学生生成的数据，随后采用基于强化学习的“学习模仿”方法，使学生的采样过程与教师对齐。

最后，sleep 范式包含一个 Dreaming 阶段，类似于人类的 REM 睡眠阶段。在 dreaming 期间，模型生成合成数据以自我改进。为了确保这些梦境有益并保持多样性，模型从其现有知识空间中采样，同时融入随机不相关的知识。生成的梦境根据其提升下游性能的潜力进行评估，得分最高的梦境被选中用于监督微调，从而使模型能够探索新颖的记忆综合并进一步增强其能力。

实验

实验评估了所提出的 sleep 机制在持续学习、长上下文理解、语言习得、推理、知识融入和少样本学习等方面的表现。仅记忆巩固阶段就能通过将提示级别的适应转化为持久的参数记忆，改善类增量学习和长上下文行为，且更多的巩固阶段会带来更好的性能。当与自我改进相结合时，完整的 sleep 过程在知识融入和少样本推理方面取得了最先进的结果，消融研究证实所有设计组件都有积极贡献。

完整的 Sleep 方法在 AIME-24 和 HMMT-25 上取得了最高的 average@16 分数，优于其消融版本和 OPSD 基线。在 AIME-25 上，仅语义奖励变体达到了最佳结果，略微领先于完整的 Sleep 模型。从 Sleep 中移除扩展组件或将其添加到 OPSD 中会持续改变性能，表明扩展有积极贡献。Sleep 在 AIME-24（79.2）和 HMMT-25（46.1）上获得了最高的 average@16 分数，超过了所有其他配置。语义奖励变体在 AIME-25 上取得了最高分（69.2），略高于完整的 Sleep 方法（69.0）。

作为一种记忆巩固方法，Sleep 在 Qwen3-1.7B 的所有三个数学推理基准上取得了最高的 average@16 分数，优于监督微调（SFT）、GRPO 和 OPSD。SFT 在三个数据集中的两个上相对于基础指令模型性能下降，而 GRPO 和 OPSD 则带来了逐步提升。结果表明，巩固比标准训练和强化学习方法更能提升推理能力。Sleep 在 AIME-24、AIME-25 和 HMMT-25 上均取得了最佳结果，超越了 GRPO 和 OPSD。监督微调在 AIME-24 和 HMMT-25 上的表现不及基础指令模型，表明简单的微调可能损害推理能力。GRPO 相对于基础模型有所改进，OPSD 进一步提高了分数，但 Sleep 提供了最大且一致的提升。

基于 Sleep 的记忆巩固在知识融入方面显著优于 SEAL 和微调基线。四级记忆系统取得了最高的准确率，基于梯度的选择和随机专家组件都对性能有贡献。在单段落设置中提升最大，而持续预训练则显示出持续但较为温和的改进。具有四级记忆系统的 Sleep 在单段落和持续预训练设置中均达到了最高的准确率。移除基于梯度的选择或随机专家会降低性能，证实了这些设计选择的价值。基础模型和未进行 dreaming 的微调模型表现相似，而 SEAL 和 sleep 方法则带来了大幅提升。

在少样本抽象推理方面，Sleep 取得了最高的成功率，达到 80%，大幅优于次优方法 SEAL（72.5%）。标准的上下文内学习（ICL）和测试时训练（TTT）无法解决该任务，成功率分别为 0% 和 10%，凸显了记忆巩固对于这一挑战的重要性。Sleep 达到了 80% 的成功率，比 SEAL 高出 7.5 个百分点，远远领先于 ICL 和 TTT。ICL 的成功率为零，TTT 仅为 10%，表明没有巩固，模型无法解决这些少样本抽象推理任务。

Sleep 记忆巩固方法在数学推理、知识融入和少样本抽象推理任务上进行了评估。它始终优于监督微调、强化学习和其他巩固基线，扩展和多级记忆组件均有积极贡献。巩固对于抽象推理至关重要，标准的上下文内学习和测试时训练在此任务上失败，总体而言，Sleep 通过增强推理和知识保留能力，超越了传统训练方法，提供了稳健的提升。