SinDiffusion: 単一の自然画像から拡散モデルを学習する

私たちはシングル自然画像からパッチの内部分布を捉えるために、デノイジング・ディフュージョン・モデルを活用したSinDiffusionを提案します。SinDiffusionは既存のGANベースの手法と比較して、生成サンプルの品質と多様性を大幅に向上させます。この手法は2つの核心的な設計に基づいています。まず、SinDiffusionは複数のモデルとスケールの段階的拡大ではなく、単一のモデルと単一のスケールで訓練されます。これは、生成結果に特徴的なアーティファクトを引き起こす誤差の蓄積を避けることができます。次に、ディフュージョン・ネットワークにおけるパッチレベルの受容野が画像のパッチ統計量を捉える上で重要かつ効果的であることを確認し、そのネットワーク構造を見直しました。これらの2つの設計を組み合わせることにより、単一の画像から写実的かつ多様な画像を生成することが可能になりました。さらに、ディフュージョン・モデルが持つ固有的能力により、SinDiffusionはテキストガイドによる画像生成や画像外挿など、さまざまな応用にも適用できます。広範囲な画像に対する詳細な実験結果は、私たちが提案する方法がパッチ分布モデリングにおいて優れていることを示しています。