15 天前
奇异值微调:少样本分割仅需少量参数微调
Yanpeng Sun, Qiang Chen, Xiangyu He, Jian Wang, Haocheng Feng, Junyu Han, Errui Ding, Jian Cheng, Zechao Li, Jingdong Wang

摘要
在少样本分割任务中,冻结预训练主干网络(backbone)已成为避免过拟合的标准范式。本文重新审视这一范式,探索一种新策略:仅微调主干网络中少量参数。我们提出一种有效方法,以克服过拟合问题,从而提升模型在学习新类别时的泛化能力。所提方法通过奇异值分解(Singular Value Decomposition, SVD)将主干网络的参数分解为三个连续矩阵,并仅对奇异值进行微调,其余部分保持冻结。该设计使模型能够在新类别上灵活调整特征表示,同时保留预训练主干网络中的语义信息。我们在多种基于不同主干网络的少样本分割方法上评估了所提出的奇异值微调(Singular Value Fine-tuning, SVF) 方法,在Pascal-5$^i$和COCO-20$^i$数据集上,无论是一次学习(1-shot)还是五次学习(5-shot)设置,均取得了当前最优性能。我们期望这一简洁的基线方法能促使研究者重新思考主干网络微调在少样本场景中的作用。相关源代码与模型将公开于:https://github.com/syp2ysy/SVF。