17 天前

领域感知的三元组损失在领域泛化中的应用

Kaiyu Guo, Brian Lovell
领域感知的三元组损失在领域泛化中的应用
摘要

尽管深度学习的快速发展推动了目标识别领域的显著进步,但深度学习模型的性能仍受到多种因素的负面影响。其中,领域偏移(domain shift)是一个关键问题,其根源在于训练数据与测试数据分布之间的差异。本文聚焦于领域泛化中的紧凑特征聚类问题,旨在优化多领域数据下的嵌入空间表示。为此,我们设计了一种面向领域的三元组损失函数(domain-aware triplet loss),使模型不仅能够将语义相似的特征进行聚类,还能有效分散由不同领域引入的特征。与以往侧重于分布对齐的方法不同,本方法的核心思想是:在嵌入空间中主动分散领域信息,从而提升模型的泛化能力。该思想在数学上和实验上均得到了充分支持,其理论基础在于假设嵌入特征可依据领域信息进行聚类。此外,在探索领域泛化中特征聚类机制的过程中,我们发现影响度量学习损失收敛性的因素,远比预定义的领域划分更为关键。为解决这一问题,我们引入两种方法对嵌入空间进行归一化处理,有效降低了嵌入特征的内部协变量偏移(internal covariate shift)。消融实验证明了所提算法的有效性。在多个基准数据集(包括PACS、VLCS和Office-Home)上的实验结果表明,本方法在应对领域差异方面显著优于现有相关方法。尤其值得注意的是,在RegnetY-16架构上,我们的方法在各基准数据集上的表现显著超越当前最优水平。相关代码将公开发布于:https://github.com/workerbcd/DCT