通过寻找平坦极小值克服增量少样本学习中的灾难性遗忘

本文研究了增量式小样本学习（incremental few-shot learning），该任务要求模型在仅提供少量样本的情况下，持续识别新类别。我们的研究发现，现有方法严重受到灾难性遗忘（catastrophic forgetting）的影响，这是增量学习中一个长期存在的难题，而在小样本设定下，由于数据稀缺性和类别分布不均衡，该问题进一步加剧。进一步分析表明，为缓解灾难性遗忘，必须在初始阶段——即基础类别（base classes）的训练阶段——采取相应措施，而非仅依赖后续的小样本学习阶段。为此，我们提出在基础训练目标函数的优化过程中搜索平坦的局部极小值区域，并在新任务上于该平坦区域内对模型参数进行微调。通过这种方式，模型能够在高效学习新类别的同时，有效保留已有知识。大量实验结果表明，所提方法显著优于所有先前的最先进方法，且性能非常接近理论近似上界。代码已开源，地址为：https://github.com/moukamisama/F2M。