基于混合适配器的大规模预训练模型领域泛化

在真实世界场景中部署模型时，训练出在分布外（Out-of-Distribution, OOD）情形下仍能保持良好性能的鲁棒视觉模型是一项关键任务。尽管该领域已有大量研究，但多数方法相较于最简单的经验风险最小化（Empirical Risk Minimization, ERM）策略，仅在基准测试中展现出微弱的性能提升，而该基准的超参数搜索空间较为有限。本研究聚焦于利用大规模预训练模型的知识，以提升模型在OOD场景下的表现，并应对领域泛化（Domain Generalization）问题。然而，先前研究发现，直接微调大规模预训练模型可能会损害其OOD鲁棒性。为此，我们采用参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术，在使用大模型的同时有效保留其OOD鲁棒性。通过广泛的实验与分析，我们证实，最有效的策略包括集成多种异构模型以及扩大预训练规模。基于此，我们在领域泛化任务中取得了当前最优的性能表现。相关代码与项目页面已公开，访问地址为：https://cvlab-kaist.github.io/MoA。