摘要
类增量学习（Class-Incremental Learning, CIL）[40] 在严格的内存预算约束下训练分类器：在每个增量阶段，仅对新数据进行学习，而大部分旧数据会被丢弃，以释放空间供后续阶段使用。被保留的数据作为样本（exemplars）用于回放。然而，现有方法采用静态且经验性的内存分配策略，通常难以达到最优性能。为此，本文提出一种面向增量阶段与不同类别优化的动态内存管理策略，命名为强化记忆管理（Reinforced Memory Management, RMM），该方法基于强化学习实现。RMM 的训练机制与 CIL 的实际场景存在天然不兼容性，因为在增量学习过程中，过去与未来数据均不可访问。为解决此问题，我们采用伪 CIL 任务（例如基于第 0 阶段数据构建的任务）对 RMM 的策略函数进行预训练，随后将其迁移应用于真实目标任务。RMM 采用两级动作机制：第一级决定新旧类别之间的内存分配比例，第二级则针对每个具体类别进行细粒度的内存分配。本质上，RMM 是一种可优化且通用的内存管理方法，可无缝集成于任意基于回放机制的 CIL 方法中。为验证其有效性，我们将 RMM 集成至两个性能领先的基线模型（LUCIR+AANets 与 POD+AANets [30]），并在三个基准数据集（CIFAR-100、ImageNet-Subset 与 ImageNet-Full）上开展实验。实验结果表明，RMM 显著提升了模型性能：在上述三个数据集的 25 阶段设置下，分别将 POD+AANets 的准确率提升 3.6%、4.4% 和 1.9%。