摘要
领域泛化（Domain Generalization, DG）旨在通过一个或多个源域训练模型，以确保其在未见目标域上仍能保持稳健的性能。近年来，基础模型的参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）在DG任务中展现出广阔前景。然而，现有PEFT方法在保留预训练模型的可泛化能力与学习任务特定特征之间仍难以取得良好平衡。为深入理解可泛化组件的分布特性，我们首先基于奇异值分解（Singular Value Decomposition, SVD）对预训练权重进行分析。基于上述洞察，本文提出一种名为奇异值分解的次要成分适应（Singular Value Decomposed Minor Components Adaptation, SoMA）的新方法。该方法通过选择性地微调奇异值较小的次要成分，同时冻结其余部分，从而在不破坏模型整体泛化能力的前提下，高效地学习任务特定特征。此外，我们进一步冻结具有领域泛化能力的网络模块，并引入退火式权重衰减（annealing weight decay）策略，有效实现了泛化能力与判别能力之间的精细权衡。实验结果表明，SoMA在多个基准测试中均取得了当前最优性能，涵盖领域泛化语义分割与领域泛化目标检测等多种任务。值得注意的是，SoMA无需引入额外的推理开销或正则化损失项，兼容任意主干网络（backbone）与分类头（head），具备高度的通用性，可轻松集成至多种下游任务中，展现出良好的实用性与可扩展性。