梯度匹配用于领域泛化

机器学习系统通常假设训练集与测试集的分布高度匹配。然而，在现实世界中，这类系统的一项关键要求是其能够泛化到未见过的领域。为此，我们提出了一种跨领域梯度匹配目标，通过最大化不同领域间梯度的内积来实现领域泛化。由于直接优化梯度内积在计算上可能极为昂贵（需计算二阶导数），我们推导出一种更简单的基于一阶导数的算法，命名为Fish，以近似该目标的优化过程。我们在Wilds基准的6个数据集上验证了Fish的有效性，这些数据集涵盖了多种模态下的分布偏移。实验结果表明，该方法在这些数据集上取得了具有竞争力的性能，并在其中4个数据集上超越了所有基线方法。此外，我们在Wilds基准（捕捉现实世界中的分布偏移）以及DomainBed基准（侧重于合成到真实场景的迁移）上均进行了实验。结果表明，该方法在两个基准上均表现优异，充分展示了其在广泛领域泛化任务中的有效性。