要約
セマンティック画像合成（SIS）は、セマンティックマップ（ラベル）に対応する現実的な画像を生成するタスクです。しかし、実世界のアプリケーションでは、SISがしばしばノイジーなユーザ入力に遭遇します。これを解決するために、我々は確率的条件付き拡散モデル（Stochastic Conditional Diffusion Model: SCDM）を提案します。SCDMは、ノイジーなラベルを持つSIS向けに新しい前進プロセスと生成プロセスを特徴とする堅牢な条件付き拡散モデルです。ラベル拡散を通じてセマンティックラベルマップを確率的に摂動することで堅牢性を向上させます。このラベル拡散により、ノイズのあるセマンティックマップとクリーンなセマンティックマップがタイムステップが増加するにつれて類似し、最終的には$t=T$で同一になります。これにより、クリーンな画像に近い画像の生成が可能となり、堅牢な生成が実現します。さらに、クラスごとのノイズスケジュールを提案し、クラスに応じて異なる方法でラベルを拡散させることが可能です。我々はベンチマークデータセットでの広範な実験と分析を通じて、提案手法が高品質なサンプルを生成することを示しています。また、実世界アプリケーションにおける人間の誤りをシミュレートした新しい実験設定も含んでいます。コードはhttps://github.com/mlvlab/SCDM で利用可能です。