摘要
在数据分布发生变化的条件下，学习具备强鲁棒性且泛化能力优异的模型，对于真实世界的应用至关重要。为此，近年来研究者们日益关注如何从多个训练域中同时学习，同时在不同域之间施加各类不变性约束。然而，现有方法在受控评估协议下均未能展现出系统性的优势。本文提出一种新型正则化方法——Fishr，该方法在损失函数梯度空间中强制实现域不变性：具体而言，通过匹配不同训练域间梯度的域级方差，实现对梯度分布的一致性约束。我们的方法基于梯度协方差、Fisher信息矩阵与损失函数Hessian矩阵之间的紧密联系，尤其证明了Fishr最终将在模型最终权重附近局部对齐各域的损失景观。大量实验结果表明，Fishr在分布外泛化任务中具有显著有效性。值得注意的是，Fishr在DomainBed基准测试中超越了现有最优方法，并始终优于传统的经验风险最小化（Empirical Risk Minimization）策略。相关代码已开源，地址为：https://github.com/alexrame/fishr。