確率分布モデリングを用いた多様な意味的画像合成

意味画像合成（Semantic image synthesis）とは、意味的レイアウトから写真のようにリアルな画像を生成するタスクであり、一対多のマッピング問題として捉えられる。近年、著しい進展が見られたものの、意味レベルにおける多様な合成結果を効率的に生成できる多モーダルな意味画像合成は、依然として大きな課題である。本論文では、意味クラスの分布という視点から、意味的レベル、さらにはインスタンスレベルでの自然な多様性生成を可能にする新しい意味画像合成フレームワークを提案する。本手法では、クラスレベルの条件付きモジュレーションパラメータを離散値ではなく連続的な確率分布としてモデル化し、ネットワーク全体で一貫性を持つインスタンス適応型確率的サンプリングにより、各インスタンスごとのモジュレーションパラメータをサンプリングすることで、この多様性を実現する。さらに、ペアドリファレンスから符号化された線形摂動パラメータを用いて、事前ノイズの再マッピング（prior noise remapping）を導入することで、教師あり学習の促進と、テスト時における例示ベースのインスタンススタイル制御を可能にする。複数のデータセットにおける広範な実験により、本手法が最先端手法と比較して優れた多様性を達成しつつ、同等の画像品質を維持できることを示した。コードは \url{https://github.com/tzt101/INADE.git} にて公開予定である。