Command Palette
Search for a command to run...
多モーダル画像変換へのアプローチ
多モーダル画像変換へのアプローチ
Jun-Yan Zhu Richard Zhang Deepak Pathak Trevor Darrell Alexei A. Efros Oliver Wang Eli Shechtman
概要
多くの画像間変換問題は曖昧であり、単一の入力画像が複数の可能な出力に対応する可能性があります。本研究では、条件付き生成モデル設定において、可能な出力の\emph{分布}をモデル化することを目指しています。マッピングの曖昧さは低次元の潜在ベクトルに凝縮され、テスト時にランダムにサンプリングすることができます。ジェネレータは、この潜在コードと組み合わせた与えられた入力を出力にマッピングすることを学習します。我々は、出力と潜在コードとの間の関連性が逆可能であることを明示的に奨励します。これにより、訓練中に潜在コードから出力への多対一のマッピング(モード崩壊問題としても知られる)を防ぎ、より多様な結果を生成することができます。我々は異なる訓練目標、ネットワークアーキテクチャ、および潜在コードの注入方法を使用して、このアプローチのいくつかのバリエーションを探求しました。提案手法では、潜在エンコーディングと出力モードとの間の一対一対応(双射的一貫性)を奨励しています。本稿では、提案手法と他のバリエーションについて、知覚的な現実性と多様性の観点から系統立てて比較を行います。