领域对抗训练中平滑性的深入分析

域对抗训练（Domain Adversarial Training）已被广泛应用于构建不变特征表示，并在各类域适应任务中得到普遍应用。近年来，收敛至平滑极小值的优化方法在监督学习任务（如分类）中展现出更优的泛化性能。本文研究了平滑性增强型优化策略对域对抗训练的影响。域对抗训练的目标函数由任务损失（如分类损失、回归损失等）与对抗项共同构成。我们发现，若在任务损失意义上收敛至平滑极小值，可显著稳定对抗训练过程，从而提升模型在目标域上的性能。相反，若在对抗损失意义上追求平滑极小值，则会导致目标域上泛化性能下降，即表现次优。基于上述分析，我们提出一种新的平滑域对抗训练方法（Smooth Domain Adversarial Training, SDAT），该方法能有效提升现有域对抗训练方法在分类与目标检测任务中的性能。此外，本研究还为领域自适应社区中为何普遍偏好使用随机梯度下降（SGD）而非Adam优化器提供了理论解释。