局所的クラス固有およびグローバルな画像レベルにおける生成的敵対ネットワークを用いた意味的ガイド付きシーン生成

本稿では、意味情報に基づくシーン生成の課題に取り組む。シーン生成において広く指摘されている課題の一つは、小規模な物体や詳細な局所テクスチャの生成が困難である点であり、これは従来のグローバル画像レベルでの生成手法において顕著に見られる問題である。この課題に対処するため、本研究では局所的な文脈においてシーン生成を学習することを検討し、意味マップをガイドとして用いるクラス特異な局所生成ネットワークを提案する。このネットワークは、異なるクラスの生成に焦点を当てたサブ生成器を別々に構築・学習可能であり、より豊かなシーンの詳細を生成することが可能である。さらに、局所生成に向けたより判別力の高いクラス特異な特徴表現を学習するため、新たな分類モジュールも提案する。グローバル画像レベル生成と局所クラス特異生成の両者の利点を統合するため、アテンション融合モジュールと二重判別器構造を内蔵した統合生成ネットワークを設計した。2つのシーン画像生成タスクにおける広範な実験により、提案手法の優れた生成性能が実証された。両タスクおよび困難な公的ベンチマークにおいて、最先端の成果を大きく上回る結果が達成された。ソースコードおよび学習済みモデルは、https://github.com/Ha0Tang/LGGAN にて公開されている。