18 天前

基于熵正则化的领域泛化

{DaCheng Tao, Huan Fu, Tongliang Liu, Mingming Gong, Shanshan Zhao}
基于熵正则化的领域泛化
摘要

领域泛化旨在从多个源域中学习一个预测模型,使其能够泛化至未见的目标域。领域泛化中的一个核心问题是如何学习具有判别性的域不变特征。为实现这一目标,一些方法通过对抗学习引入域判别器,以匹配多个源域的特征分布。然而,对抗训练仅能保证所学特征具有不变的边缘分布,而对新域预测而言,条件分布的不变性更为重要。为确保所学特征的条件不变性,我们提出了一种基于熵的正则化项,用于度量所学特征与类别标签之间的依赖关系。结合典型的任务相关损失(如分类任务中的交叉熵损失)以及用于域判别对抗训练的损失,我们的整体优化目标能够保证在所有源域上学习到条件不变的特征,从而获得具备更强泛化能力的分类器。我们通过在模拟数据集和真实世界数据集上与当前最先进方法的对比,验证了所提方法的有效性。代码已公开,地址为:https://github.com/sshan-zhao/DGviaER。