2 个月前

构建单源域泛化的验证和训练分布偏移

Efthymiadis, Nikos ; Tolias, Giorgos ; Chum, Ondřej
构建单源域泛化的验证和训练分布偏移
摘要

单源域泛化(single-source domain generalization)试图在源域上训练一个模型,并将其部署到未见过的目标域中。仅限于访问源域数据带来了两个关键挑战——如何训练一个能够泛化的模型以及如何验证其泛化能力。传统的在训练分布上进行验证的做法无法准确反映模型的泛化能力,而直接在测试分布上进行验证则是需要避免的不当做法。在这项工作中,我们通过使用一系列全面的数据增强方法对源域图像进行变换,构建了一个独立的验证集,涵盖了目标域中可能出现的各种分布偏移。我们展示了多种方法在多个数据集上的验证性能与测试性能之间存在高度相关性。当用于方法选择时,所提出的验证方法相比传统验证方法实现了15.4%的相对准确率提升;当用于学习率调整时,则实现了1.6%的相对准确率提升。此外,我们引入了一种新的方法家族,通过增强边缘图来增加形状偏差(shape bias)。为了在训练过程中利用这些增强方法并保持验证集的独立性,设计了一个k折交叉验证过程,以分离训练和验证中使用的增强类型。从所提出的方法家族中选择在增强验证集上表现最佳的方法,该方法在各种标准基准测试中达到了最先进的性能。代码地址:https://github.com/NikosEfth/crafting-shifts

构建单源域泛化的验证和训练分布偏移 | 最新论文 | HyperAI超神经