熵最小化与多样性最大化在域适应中的对比

熵最小化在无监督域自适应（Unsupervised Domain Adaptation, UDA）中已被广泛使用。然而，现有研究指出，仅采用熵最小化可能导致模型陷入平凡的退化解（collapsed trivial solutions）。为此，本文提出通过进一步引入多样性最大化来避免此类退化解。为实现UDA中可能的最小目标风险，我们证明了多样性最大化必须与熵最小化进行精细平衡，而这种平衡程度可通过无监督方式利用深度嵌入式验证（deep embedded validation）进行精确调控。所提出的最小熵多样性最大化方法（Minimal-Entropy Diversity Maximization, MEDM）可直接通过随机梯度下降（Stochastic Gradient Descent）实现，无需依赖对抗学习。实验结果表明，MEDM在四个主流域自适应数据集上均优于当前最先进的方法。