要約
セマンティック画像合成（Semantic Image Synthesis, SIS）は、セグメンテーションマスクから写実的な画像を生成する画像対画像翻訳の一種である。SISはこれまで主に教師あり学習の枠組みで扱われてきた。しかし、最先端の手法は膨大な量のラベル付きデータに依存しており、ペア化されていない設定（unpaired setting）には適用できない。一方、一般的なペア化されていない画像対画像翻訳フレームワークは、セマンティックレイアウトを色分けして従来の畳み込みネットワークに供給するため、外観の対応関係を学習するのではなく、セマンティック内容そのものではなく、結果として性能が劣る。本研究では、ペア化された設定とペア化されていない設定の間の性能ギャップを埋める第一歩として、教師なしのセマンティック画像合成（Unsupervised Semantic Image Synthesis, USIS）という新たな枠組みを提案する。特に、自己教師付きセグメンテーション損失を用いて、視覚的に分離可能なセマンティッククラスを出力するSPADE生成器を導入している。さらに、高周波成分を失うことなく、実画像の色とテクスチャ分布を正確に再現するため、全体画像に基づくウェーブレット特徴を用いた識別戦略を提案する。本手法は3つの挑戦的なデータセット上で評価され、ペア化されていない設定においても、マルチモーダルかつ写実的な画像を高品質に生成する能力を実証した。