DiffBIR : Vers la restauration d'images aveugle avec un a priori de diffusion générative

Nous présentons DiffBIR, une chaîne de traitement générale capable de gérerdifférentes tâches de restauration d'images aveugles dans un cadre unifié. DiffBIRdécouple le problème de restauration d'images aveugles en deux étapes : 1) suppression des dégradations : élimination du contenu non lié à l'image ; 2) régénération d'informations : génération du contenu d'image perdu. Chaque étape est développée indépendamment, mais elles fonctionnent de manière fluide et en cascade. Dans la première étape, nous utilisons des modules de restauration pour supprimer les dégradations et obtenir des résultats restaurés de haute fidélité. Pour la deuxième étape, nous proposons IRControlNet qui exploite la capacité générative des modèles de diffusion latente pour produire des détails réalistes. Plus précisément, IRControlNet est formé à partir d'images conditionnelles spécialement produites sans contenu bruyant distrayant pour assurer une performance générative stable. De plus, nous concevons une guidance de restauration adaptative aux régions qui peut modifier le processus de débruitage pendant l'inférence sans nécessiter un réentraînement du modèle, permettant aux utilisateurs d'équilibrer réalisme et fidélité grâce à une échelle de guidance réglable. De nombreuses expériences ont démontré la supériorité de DiffBIR par rapport aux approches les plus avancées pour les tâches de sur-résolution aveugle d'images, de restauration aveugle de visages et de débruitage aveugle d'images, tant sur des jeux de données synthétiques que réels. Le code est disponible à l'adresse suivante : https://github.com/XPixelGroup/DiffBIR.