サイクル一貫性を持つ敵対的ネットワークを用いた非対応画像間変換

画像間変換は、入力画像と出力画像の間のマッピングを学習することを目指す一連の視覚およびグラフィックス問題であり、その学習にはアライメントされた画像ペアの訓練セットを使用します。しかし、多くのタスクにおいて、ペアデータが利用できないことがあります。本稿では、ペアデータが存在しない場合でも、ソースドメイン $X$ からターゲットドメイン $Y$ への画像変換を学習する手法を提案します。我々の目標は、$G: X \rightarrow Y$ のようなマッピングを学習し、このマッピングによって生成された画像群 $G(X)$ の分布がターゲットドメイン $Y$ の分布と区別不能になるようにするための敵対的損失（adversarial loss）を使用することです。このマッピングは非常に制約が少ないため、逆方向のマッピング $F: Y \rightarrow X$ を組み合わせて、サイクル一致性損失（cycle consistency loss）を導入し、$F(G(X)) \approx X$ （およびその逆）となるようにします。定性的な結果は、ペア訓練データが存在しないいくつかのタスクで示されており、それらにはコレクションスタイル転送、オブジェクト変形（transfiguration）、季節転送、写真強化などが含まれます。定量的な比較では、これまでの複数の手法に対して優れた性能を示しています。