ドメイン敵対的訓練におけるスムーズ性の再検討

ドメインアドバーシャルトレーニングは、不変表現の獲得に広く用いられており、さまざまなドメイン適応タスクで活用されている。近年、滑らかな最適解に収束する手法が、分類などの教師あり学習タスクにおいて優れた一般化性能を示すことが明らかになっている。本研究では、ドメインアドバーシャルトレーニングにおける滑らかさを強化する定式化の効果を分析する。ドメインアドバーシャルトレーニングの目的関数は、タスク損失（例：分類、回帰など）とアドバーシャル項の組み合わせで構成される。我々の分析によれば、タスク損失に関して滑らかな最小値に収束させることで、アドバーシャルトレーニングの安定性が向上し、ターゲットドメインにおける性能が向上することが明らかになった。一方、アドバーシャル損失に関して滑らかな最小値に収束させると、ターゲットドメインにおける一般化性能が劣化するという結果が得られた。この分析に基づき、我々は「スムーズドメインアドバーシャルトレーニング（Smooth Domain Adversarial Training, SDAT）」という新たな手順を提案する。SDATは、既存のドメインアドバーシャル手法の性能を分類および物体検出の両タスクにおいて効果的に向上させることができる。また、本研究の分析は、ドメインアドバーシャルトレーニングの分野においてなぜSGDがAdamよりも広く採用されているかという現象についても新たな知見を提供している。