SinDiffusion : Apprendre un modèle de diffusion à partir d'une seule image naturelle

Nous présentons SinDiffusion, une méthode qui utilise des modèles de diffusion débruitante pour capturer la distribution interne des patches d'une seule image naturelle. SinDiffusion améliore considérablement la qualité et la diversité des échantillons générés par rapport aux approches existantes basées sur les GAN (Generative Adversarial Networks). Cette méthode repose sur deux conceptions fondamentales. Premièrement, SinDiffusion est entraînée avec un seul modèle à une seule échelle, contrairement aux méthodes précédentes qui utilisent plusieurs modèles avec un agrandissement progressif des échelles. Cela évite l'accumulation d'erreurs, qui provoque des artefacts caractéristiques dans les résultats générés. Deuxièmement, nous avons identifié que le champ récepteur au niveau du patch dans le réseau de diffusion est crucial et efficace pour capturer les statistiques des patches de l'image. Par conséquent, nous avons redessiné la structure du réseau du modèle de diffusion. La combinaison de ces deux conceptions nous permet de générer des images photoréalistes et diversifiées à partir d'une seule image. De plus, SinDiffusion peut être appliquée à diverses applications telles que la génération d'images guidée par le texte et le hors-champ d'image (outpainting), grâce à la capacité inhérente des modèles de diffusion. Des expériences étendues sur une large gamme d'images démontrent la supériorité de notre méthode proposée pour modéliser la distribution des patches.