高解像度画像合成と意味操作を用いた条件付きGAN

本稿では、意味ラベルマップから高解像度の写実的な画像を生成する新しい手法を提案します。条件付きジェネレーティブ・アドバーザリアル・ネットワーク（条件付きGAN）を使用しています。条件付きGANは様々な応用が可能となりましたが、その結果はしばしば低解像度に限られ、現実的とは程遠いものでした。本研究では、新規の敵対的損失関数と新たなマルチスケールのジェネレーターおよびディスクリミネーターのアーキテクチャを用いて、2048x1024ピクセルの視覚的に魅力的な結果を生成します。さらに、フレームワークをインタラクティブな視覚操作に拡張するために、2つの追加機能を取り入れました。まず、オブジェクトインスタンスセグメンテーション情報を組み込むことで、オブジェクトの削除や追加、オブジェクトカテゴリの変更などの操作が可能となります。次に、同じ入力に対して多様な結果を生成する方法を提案し、ユーザーがオブジェクトの外観をインタラクティブに編集できるようにしました。ヒューマン・オピニオン調査では、本手法が既存の手法を大幅に上回ることが示されており、深層画像合成および編集の品質と解像度において進歩を遂げています。