1ヶ月前

非監督ドメイン適応のためのスムーズな表現学習

Guanyu Cai; Lianghua He; Mengchu Zhou; Hesham Alhumade; Die Hu
非監督ドメイン適応のためのスムーズな表現学習
要約

典型的敵対的訓練に基づく非監督ドメイン適応手法は、ソースデータセットとターゲットデータセットが非常に複雑であるか、またはそれらのデータ分布間に大きな乖離がある場合に脆弱です。最近では、Lipschitz制約を基にした手法がいくつか探索されています。Lipschitz連続性の満足は、ターゲットドメインでの優れた性能を保証します。しかし、これらの手法にはLipschitz制約が非監督ドメイン適応にどのように有益であるのかの数学的な分析が欠けており、通常大規模データセットでは性能が低い傾向があります。本論文では、Lipschitz制約の利用原理をさらに追究し、それが非監督ドメイン適応の誤差境界にどのように影響を与えるかについて議論します。両者の関係性を構築し、Lipschitz性が誤差境界を低減する仕組みを説明します。また、ターゲット分布の各点におけるLipschitz性を測定するために局所滑らかな乖離(Local Smooth Discrepancy)という概念を定義します。深層エンドツーエンドモデルを構築する際、非監督ドメイン適応の効果と安定性を確保するために、提案する最適化戦略において以下の3つの重要な要因を取り上げています。すなわち、ターゲットドメインのサンプル数、サンプルの次元数およびバッチサイズです。実験結果は、我々のモデルがいくつかの標準ベンチマークで良好な性能を示すことを証明しています。アブレーションスタディでは、ターゲットドメインのサンプル数やサンプルの次元数およびバッチサイズが実際にLipschitz制約に基づく手法の大規模データセット処理能力に大きく影響することを示しています。コードは以下から入手可能です: https://github.com/CuthbertCai/SRDA.