要約
私たちは、入力される意味論的レイアウトに基づいて写実的な画像を合成するための空間適応正規化という単純ながら効果的な層を提案します。従来の手法では、意味論的レイアウトが直接深層ネットワークの入力として供給され、畳み込み、正規化、非線形層のスタックを通じて処理されます。しかし、この方法は最適ではなく、正規化層が「意味情報を洗い流す」傾向があることを示しています。この問題に対処するために、私たちは入力レイアウトを使用して正規化層での活性化を空間的に適応し学習された変換によって調節することを提案します。複数の難易度の高いデータセットにおける実験結果は、提案手法が既存のアプローチに比べて視覚的な忠実度と入力レイアウトとの整合性において優れていることを示しています。最後に、私たちのモデルはユーザーが意味論的要素とスタイル両方に対して制御できるように設計されています。コードは https://github.com/NVlabs/SPADE で公開されています。