始终怀揣梦想：一种全新的无数据类增量学习方法

现代计算机视觉应用在随时间逐步学习新概念时，常常面临灾难性遗忘问题。目前最有效的缓解方法通常需要大量重放过往已见过的数据，但在存在内存限制或数据合规性顾虑的情况下，这种方法难以实施。本文研究了具有重大影响的“无数据类增量学习”（Data-Free Class-Incremental Learning, DFCIL）问题，即一个增量学习智能体必须在不存储以往任务的生成器或训练数据的前提下，持续学习新概念。一种典型的DFCIL方法是通过反演冻结的分类模型来生成合成图像进行重放，但我们发现，当采用标准的知识蒸馏策略时，该方法在常见的类增量学习基准测试中表现失败。本文深入分析了该方法失效的原因，并提出一种新型的增量知识蒸馏策略用于DFCIL，包含改进的交叉熵训练机制与重要性加权的特征蒸馏方法。实验结果表明，与当前最优的DFCIL方法相比，本方法在常见类增量学习基准上可使最终任务的准确率提升高达25.1%（绝对提升）。此外，该方法在性能上甚至超越了几种依赖图像子集（coreset）存储的标准重放类方法。