8日前

ドメイン敵対的訓練のためのフリーランチ:環境ラベルスムージング

YiFan Zhang, Xue Wang, Jian Liang, Zhang Zhang, Liang Wang, Rong Jin, Tieniu Tan
ドメイン敵対的訓練のためのフリーランチ:環境ラベルスムージング
要約

機械学習モデルにおける根本的な課題の一つは、分布外(Out-of-Distribution, OOD)データに対して学習したモデルの一般化能力を高めることである。様々なアプローチの中でも、ドメインアドバーシャルトレーニング(Domain Adversarial Training, DAT)を用いた不変特徴の活用は広く注目されている。しかしながら、その成功にもかかわらず、DATでは訓練の不安定性が見られることがあり、これは主にドメイン識別器の過剰な確信度および環境ラベルのノイズに起因すると観察される。この問題に対処するために、我々は環境ラベルスムージング(Environment Label Smoothing, ELS)を提案する。ELSはドメイン識別器がソフト確率を出力するよう促すことで、識別器の確信度を低下させ、ノイズを含む環境ラベルの影響を軽減することを目的としている。実験的・理論的に両面から検証した結果、ELSは訓練の安定性、局所的収束性、および環境ラベルのノイズに対するロバスト性を向上させることを示した。DAT手法とELSを組み合わせることにより、特に環境ラベルに著しいノイズが含まれる状況においても、幅広いドメイン一般化/適応タスクで最先端の性能を達成することが可能となった。

ドメイン敵対的訓練のためのフリーランチ:環境ラベルスムージング | 最新論文 | HyperAI超神経