11 天前

基于神经坍缩的特征-分类器对齐方法用于少样本类增量学习

{DaCheng Tao, Philip Torr, Zhouchen Lin, Xiangtai Li, Haobo Yuan, Yibo Yang}
基于神经坍缩的特征-分类器对齐方法用于少样本类增量学习
摘要

少样本类增量学习(Few-shot Class-Incremental Learning, FSCIL)是一个极具挑战性的问题,因为在新学习阶段中,每个新类别的训练样本数量极为有限。对主干网络进行微调或调整先前阶段训练得到的分类器原型,不可避免地会导致旧类别特征与分类器之间的对齐关系被破坏,这正是广为人知的灾难性遗忘问题的根本原因。本文受近期发现的“神经坍缩”(Neural Collapse)现象的启发,提出了一种应对FSCIL中特征-分类器错位困境的新方法。神经坍缩现象表明:同一类别的最后一层特征会坍缩至一个顶点,而所有类别的顶点与分类器原型之间形成等角紧框架(Simplex Equiangular Tight Frame, ETF),构成一个最优的几何结构,该结构可最大化Fisher判别比,从而提升分类性能。我们提出一种受神经坍缩启发的FSCIL框架。该框架预先为整个标签空间(包括基础阶段和所有增量阶段)配置一组分类器原型,使其构成一个ETF结构。在训练过程中,分类器原型固定不可学习,我们引入一种新颖的损失函数,驱动特征向量向其对应的原型靠拢。理论分析表明,所提方法能够保持神经坍缩的最优性,并在增量学习过程中维持特征与分类器之间的对齐关系,避免破坏已有知识。在miniImageNet、CUB-200和CIFAR-100数据集上的实验结果表明,所提出的框架显著优于现有最先进方法。相关代码将公开发布。

基于神经坍缩的特征-分类器对齐方法用于少样本类增量学习 | 最新论文 | HyperAI超神经