強化学習を用いた部分領域適応のための選択的転移ネットワーク

部分領域適応（Partial Domain Adaptation: PDA）において重要な課題の一つは、共有クラスにおける関連するソースサンプルを選択し、知識転送を行う方法である。従来のPDA手法では、この問題を高次情報（深層特徴）に基づいてソースサンプルの重み付けを行うことで解決しようとしてきた。しかし、ソースドメインとターゲットドメイン間のドメインシフトがあるため、サンプル選択に深層特徴のみを使用することは欠陥がある。私たちは、外れ値となるソースクラスとターゲットクラスとの外観差が非常に大きいことを考慮に入れると、PDA問題においてピクセルレベルの情報を活用することがより合理的であると考える。本論文では、高次情報とピクセルレベルの情報を両方利用する強化学習に基づく強化転送ネットワーク（Reinforced Transfer Network: RTNet）を提案する。提案するRTNetは、外れ値となるソースサンプルをフィルタリングする強化学習に基づく強化データセレクター（Reinforced Data Selector: RDS）と、共有ラベル空間でのドメイン間の相違性を最小化するドメイン適応モデルで構成されている。特にRDSでは、選択されたソースサンプルがターゲットジェネレーター上で再構築される際の誤差に基づいた新しい報酬設計を行い、これによりピクセルレベルの情報がRDS学習のガイド役となる。さらに、RDSがサンプル選択に使用するために高次情報を含む状態を開発した。提案するRDSは汎用的なモジュールであり、既存のDAモデルに容易に統合してPDA状況に対応させることができる。広範な実験結果から、RTNetはいくつかのベンチマークデータセットにおいてPDAタスクで最先端の性能を達成できることを示している。注：「外れ値」は異常値やノイズなどを指す一般的な表現です。「reconstruct errors」については「再構築誤差」と訳しましたが、「再生成誤差」など他の訳語も考えられます。ただし、「再構築誤差」の方が一般的で分かりやすいと思われますので採用しました。