HyperAIHyperAI

Command Palette

Search for a command to run...

SIMPLE:面向领域泛化的专用模型-样本匹配

Dongsheng Li Haipeng Zhang Yifei Shen Xinyang Jiang Kan Ren Ziyue Li

摘要

在领域泛化(Domain Generalization, DG)任务中,现有大多数方法致力于通过新型DG算法对特定预训练模型进行微调。本文提出一种替代性研究方向:无需微调,高效利用一组预训练模型的集合。通过大量实验与理论分析,我们证明了以下两点:(1)预训练模型本身已具备一定程度的泛化能力,但在所有分布偏移场景下并不存在“最优”的单一预训练模型;(2)分布外(Out-of-Distribution, OOD)泛化误差取决于预训练模型与未见测试分布之间的适配程度。基于这一分析,我们提出通过推荐技术,融合多样化的预训练模型,并为每个OOD样本动态分配最匹配的模型进行预测。为此,我们提出了SIMPLE——一种专为领域泛化设计的模型-样本匹配方法。首先,通过线性标签空间变换对预训练模型的预测结果进行目标域适应;随后,设计一种感知模型特性的匹配网络,动态推荐最合适的预训练模型以预测每个测试样本。在DomainBed基准上的实验表明,与当前最优(SOTA)方法相比,我们的方法在单个数据集上性能提升最高达12.2%,平均提升达3.9%;进一步扩大预训练模型池后,性能再提升6.1%。此外,该方法具有极高的效率,相比传统需微调预训练模型的DG方法,训练速度提升超过1000倍。相关代码与补充材料已公开,详见:https://seqml.github.io/simple


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SIMPLE:面向领域泛化的专用模型-样本匹配 | 论文 | HyperAI超神经