摘要
在我们动态变化的世界中，新类别频繁出现，例如认证系统中的新用户。机器学习模型需要在不遗忘旧类别的情况下识别新类别。当新类别的样本数量有限时，这一任务变得更加具有挑战性，这种场景被称为少样本类增量学习（Few-Shot Class-Incremental Learning, FSCIL）。当前的方法通常通过使更新后的模型与旧模型保持相似性来实现增量学习，这是一种基于回溯的策略。相比之下，我们提出一种前瞻性学习思路，以提前为未来的模型更新做好准备，并为此提出了面向前向兼容的训练方法（Forward Compatible Training, FACT）。前向兼容性要求基于当前阶段的数据，未来新增的类别能够被轻松地整合进现有模型中。为此，我们通过为未来新类别预留嵌入空间来实现这一目标。具体而言，我们引入虚拟原型（virtual prototypes），通过压缩已知类别的嵌入表示，为潜在的新类别腾出空间。此外，我们还预测可能的新类别，并提前为模型更新过程做好准备。这些虚拟原型作为嵌入空间中的代理点，分布于现有类别之间，能够在推理阶段构建更强大的分类器，从而增强模型对未来更新的适应能力。FACT方法在实现新类别高效融入的同时，有效缓解了对旧类别的遗忘问题，具备良好的前向兼容性。大量实验结果验证了FACT在FSCIL任务上的先进性能。代码已公开，获取地址为：https://github.com/zhoudw-zdw/CVPR22-Fact