关于持续学习中的微小情景记忆

在持续学习（Continual Learning, CL）中，智能体通过一系列任务流进行学习，利用先前的经验将知识迁移到未来任务中。这是一种理想的框架，可以减少现有学习算法中的监督量。然而，为了成功地进行知识迁移，学习者需要记住如何执行以前的任务。一种赋予学习者这种能力的方法是存储一个小的记忆模块，称为情景记忆（episodic memory），该模块保存来自先前任务的少量示例，并在训练未来任务时重放这些示例。在这项工作中，我们对在一个CL设置中非常小的情景记忆的有效性进行了实证分析，在该设置中每个训练样本仅被观察一次。令人惊讶的是，在四个相当不同的适应于CL的监督学习基准测试中，一个非常简单的基线方法——即同时在当前任务的样本和存储在情景记忆中的样本上进行联合训练——显著优于专门设计的带有或不带情景记忆的CL方法。有趣的是，我们发现即使对过去任务的微小记忆进行重复训练也不会损害泛化能力，相反，它会提高泛化能力，在每类只有一个样本的情况下，性能提升幅度在7%到17%之间。