17 天前
稀疏混合专家模型是具备领域泛化能力的学习者
Bo Li, Yifei Shen, Jingkang Yang, Yezhen Wang, Jiawei Ren, Tong Che, Jun Zhang, Ziwei Liu

摘要
人类视觉感知能够轻松泛化到分布外(out-of-distribution)的视觉数据,而这一能力远超当前主流机器学习模型的表现。领域泛化(Domain Generalization, DG)旨在缩小这一差距,现有DG方法主要聚焦于损失函数的设计。本文提出探索一条正交方向——即主干网络架构的设计。这一思路源于一个经验发现:基于Transformer的模型在经验风险最小化(Empirical Risk Minimization, ERM)框架下训练时,在多个DG数据集上表现优于采用当前最先进(State-of-the-Art, SOTA)DG算法的CNN模型。为此,我们构建了一个形式化框架,通过分析网络架构与数据集内在相关性之间的对齐程度,来刻画模型对分布偏移的鲁棒性。基于该分析,我们提出了一种基于视觉Transformer的新型DG模型——可泛化混合专家模型(Generalizable Mixture-of-Experts, GMoE)。在DomainBed基准上的大量实验表明,仅使用ERM训练的GMoE在性能上显著超越现有SOTA DG基线方法。此外,GMoE与现有DG方法具有良好的互补性,当结合DG算法进行训练时,其性能进一步得到显著提升。