Resfusion : Modèles de diffusion débruitante probabiliste pour la restauration d'images basée sur le bruit résiduel a priori

Récemment, les recherches sur les modèles de diffusion débruitants ont élargi leur application au domaine de la restauration d'images. Les méthodes traditionnelles de restauration d'images basées sur la diffusion utilisent des images dégradées comme entrée conditionnelle pour guider efficacement le processus de génération inverse, sans modifier le processus de diffusion débruitante originel. Cependant, puisque les images dégradées contiennent déjà des informations à basse fréquence, commencer à partir d'un bruit blanc gaussien entraîne une augmentation du nombre d'étapes d'échantillonnage. Nous proposons Resfusion, un cadre général qui intègre le terme résiduel dans le processus de diffusion en avant, en démarrant le processus inverse directement à partir des images dégradées bruyantes. La forme de notre processus d'inférence est conforme à celle du DDPM (Denoising Diffusion Probabilistic Model). Nous avons introduit un bruit résiduel pondéré, appelé resnoise (residual noise), comme cible de prédiction et nous fournissons explicitement la relation quantitative entre le terme résiduel et le terme de bruit dans resnoise. En utilisant une transformation d'équivalence lisse, Resfusion détermine l'étape d'accélération optimale et maintient l'intégrité des horaires de bruit existants, unifiant ainsi les processus d'entraînement et d'inférence. Les résultats expérimentaux montrent que Resfusion présente des performances compétitives sur les ensembles de données ISTD, LOL et Raindrop avec seulement cinq étapes d'échantillonnage. De plus, Resfusion peut être facilement appliqué à la génération d'images et se distingue par sa forte polyvalence. Notre code et notre modèle sont disponibles à l'adresse suivante : https://github.com/nkicsl/Resfusion.