1ヶ月前

ドメイン敵対的訓練ニューラルネットワーク

Yaroslav Ganin; Evgeniya Ustinova; Hana Ajakan; Pascal Germain; Hugo Larochelle; François Laviolette; Mario Marchand; Victor Lempitsky
ドメイン敵対的訓練ニューラルネットワーク
要約

ドメイン適応における新しい表現学習手法を紹介します。この手法では、訓練時とテスト時のデータは類似していますが、異なる分布から得られます。当手法は、ドメイン適応に関する理論に直接触発されています。その理論によれば、効果的なドメイン転送を達成するためには、予測は訓練(ソース)ドメインとテスト(ターゲット)ドメインの差異を識別できない特徴に基づいて行われる必要があります。当手法は、ソースドメインからのラベル付きデータとターゲットドメインからのラベルなしデータで訓練されるニューラルネットワークアーキテクチャの文脈でこのアイデアを実装します(ラベル付きのターゲットドメインデータは必要ありません)。訓練が進むにつれて、当手法は以下の2つの条件を満たす特徴の出現を促進します。(i) ソースドメインでの主要な学習タスクに対して識別力があり、(ii) ドメイン間のシフトに対して無差別である。我々は、この適応行動がほぼ任意のフィードフォワードモデルに数少ない標準層と新しい勾配逆転層(gradient reversal layer)を追加することで達成できることを示します。結果として得られる拡張されたアーキテクチャは、標準的なバックプロパゲーションと確率的勾配降下法を使用して訓練できるため、深層学習パッケージのいずれかを使用して比較的容易に実装できます。我々は、文書感情分析と画像分類という2つの異なる分類問題において、当手法の成功を示し、標準ベンチマークでの最先端のドメイン適応性能を達成しました。また、個人再識別アプリケーションにおける記述子学習タスクでも当手法の有効性を検証しています。