
摘要
在领域泛化(Domain Generalization, DG)任务中,微调预训练模型是一种常见做法。然而,由于预训练模型的规模持续增长,微调通常具有较高的计算成本。更重要的是,近期研究表明,微调可能导致在源域上出现过拟合,从而损害模型的泛化能力。通常情况下,预训练模型本身已具备一定水平的泛化能力,能够在特定领域和样本上取得令人满意的性能表现。然而,这些模型在不同测试领域甚至不同样本上的泛化性能可能存在显著差异,这给如何在DG任务中有效利用预训练模型带来了挑战。为此,本文提出一种新型领域泛化范式——面向领域泛化的专用集成学习(Specialized Ensemble Learning for Domain Generalization, SEDGE),旨在更充分地利用多种预训练模型。SEDGE首先在固定预训练模型的基础上训练一个线性标签空间适配器(linear label space adapter),将预训练模型的输出映射至目标领域的标签空间。随后,提出一种考虑模型特性的集成网络,能够根据测试样本动态分配最合适的预训练模型进行预测。在多个基准数据集上的实验结果表明,SEDGE在性能上显著优于多种强基线方法,包括当前领域泛化任务中的最先进方法;同时,其可训练参数量减少约99%,训练时间缩短约99.5%。