DifFace : Restauration aveugle de visage avec contraction d'erreur diffusée

Bien que les méthodes basées sur l'apprentissage profond pour la restauration aveugle des visages aient connu un succès sans précédent, elles souffrent encore de deux limitations majeures. Premièrement, la plupart d'entre elles se dégradent lorsqu'elles sont confrontées à des dégradations complexes qui ne figurent pas dans leurs données d'entraînement. Deuxièmement, ces méthodes nécessitent plusieurs contraintes, par exemple des pertes de fidélité, perceptuelles et adversariales, qui exigent une calibration fastidieuse des hyperparamètres pour stabiliser et équilibrer leurs influences.Dans ce travail, nous proposons une nouvelle méthode nommée DifFace, capable de gérer avec plus de grâce les dégradations inconnues et complexes sans recourir à des conceptions de pertes compliquées. La clé de notre méthode réside dans l'établissement d'une distribution a posteriori entre l'image de faible qualité (LQ) observée et son équivalent de haute qualité (HQ). Plus précisément, nous concevons une distribution de transition de l'image LQ à un état intermédiaire d'un modèle pré-entraîné de diffusion, puis transmettons progressivement cet état intermédiaire vers la cible HQ en appliquant récursivement un modèle pré-entraîné de diffusion.La distribution de transition ne repose que sur un backbone de restauration entraîné avec une perte $L_2$ sur certaines données synthétiques, ce qui évite avantageusement le processus d'entraînement fastidieux des méthodes existantes. De plus, cette distribution de transition peut réduire l'erreur du backbone de restauration et rend ainsi notre méthode plus robuste aux dégradations inconnues. Des expériences approfondies montrent que DifFace est supérieure aux méthodes actuelles les plus avancées, en particulier dans les cas où les dégradations sont sévères. Le code source et le modèle sont disponibles à l'adresse suivante : https://github.com/zsyOAOA/DifFace.