Command Palette
Search for a command to run...
条件付きGANを用いた高解像度画像合成とセマンティック操作
条件付きGANを用いた高解像度画像合成とセマンティック操作
概要
本稿では、条件付き生成対抗ネットワーク(conditional GAN)を用いて、セマンティックラベルマップから高解像度かつ写真のようにリアルな画像を合成するための新規手法を提案する。条件付きGANは多様な応用を可能にしたが、従来の手法では出力画像の解像度が低く、現実性にもほど遠い場合が多かった。本研究では、新規の adversarial loss と、新たなマルチスケール生成器および識別器アーキテクチャを採用することで、2048×1024解像度の視覚的に魅力的な結果を生成した。さらに、本フレームワークをインタラクティブな視覚的編集に拡張するための2つの追加機能を導入した。第一に、オブジェクトインスタンスセグメンテーション情報を組み込むことで、オブジェクトの削除・追加やオブジェクトカテゴリの変更といったオブジェクト操作を可能にした。第二に、同一の入力に対して多様な出力を生成する手法を提案し、ユーザーがオブジェクトの外観をインタラクティブに編集できるようにした。人間の評価実験の結果、本手法は既存手法を著しく上回ることが示され、深層画像合成および編集の品質と解像度の両面で、新たな水準を確立した。