意味画像合成のためのレイアウトから画像への条件付き畳み込みの予測学習

意味画像合成は、意味的レイアウトから写実的な画像を生成することを目的としている。従来の条件付き生成対抗ネットワーク（GAN）に基づく手法は、このタスクにおいて最先端の性能を示しており、その多くは生成器への入力として意味ラベルマップを直接供給するか、アフィン変換を用いて正規化層内の活性化をラベルマップで制御する方式を採用している。本研究では、生成器が画像を生成する際、異なる位置に存在する異なる意味的ラベルに応じて畳み込みカーネルがその情報を認識すべきであると主張する。より効果的に意味的レイアウトを生成器に活用するため、我々は、ノイズマップから中間特徴マップを生成する際に、意味ラベルマップを条件として畳み込みカーネルを予測する手法を提案する。さらに、従来のマルチスケールディスクリミネータよりも、生成画像と入力された意味的レイアウトの間の細部の強調および意味的整合性をより効果的に向上させるため、特徴ピラミッド型の意味埋め込みディスクリミネータを提案する。我々の手法は、さまざまな意味的セグメンテーションデータセットにおいて、定量的評価指標および主観評価の両面で最先端の結果を達成し、提案手法の有効性を実証している。