U-GAT-IT: 監督なし生成注意ネットワークと適応的な層-インスタンス正規化を用いた画像対画像変換

私たちは、教師なし画像対画像変換のための新しい手法を提案します。この手法は、新しい注意モジュールと新しい学習可能な正規化関数をエンドツーエンドで組み込んでいます。注意モジュールは、補助分類器によって得られた注意マップに基づいて、ソースドメインとターゲットドメインの間でより重要な領域にモデルが注目することを導きます。従来の注意ベースの手法とは異なり、当モデルはドメイン間の幾何学的な変化も処理できます。したがって、全体的な変化が必要な画像だけでなく、大きな形状変化が必要な画像も翻訳可能です。さらに、私たちが新たに開発したAdaLIN（Adaptive Layer-Instance Normalization）関数により、データセットに応じて学習されたパラメータによって形状とテクスチャの変化量を柔軟に制御することができます。実験結果は、固定されたネットワークアーキテクチャとハイパーパラメータを持つ既存の最先端モデルと比較して、提案手法の優位性を示しています。当方のコードとデータセットは、https://github.com/taki0112/UGATIT または https://github.com/znxlwm/UGATIT-pytorch から入手いただけます。