要約
我々は、入力として異なるドメイン（例えば、セマンティックセグメンテーションマスク、エッジマップ、ポーズキーポイントなど）を持つ画像を用い、例示画像（exemplar image）に基づいて写真のようなリアルな画像を合成する汎用的なフレームワークを提案する。生成された画像は、例示画像内の意味的に対応するオブジェクトと同一のスタイル（色調、テクスチャなど）を保持する。本研究では、ドメイン間対応関係と画像翻訳の両タスクを同時に学習するアプローチを提案する。両タスクは互いに補完し合い、弱教師あり学習（weakly supervised learning）によって効果的に学習可能である。異なるドメインからの画像はまず、密な対応関係が確立可能な中間ドメインにアライメントされる。その後、ネットワークは例示画像内の意味的に対応するパッチの外観に基づいて画像を合成する。本手法の有効性を複数の画像翻訳タスクにおいて実証した。結果として、画像品質において最先端の手法を大きく上回り、例示画像のスタイルを意味論的に整合性を保った形で忠実に再現できることが明らかになった。さらに、本手法が複数の応用においても有効であることを示した。