Restauration de visage aveugle par des dictionnaires de composants multi-échelles profonds

Les méthodes récentes de restauration faciale basées sur des références ont suscité une attention considérable en raison de leur grande capacité à récupérer les détails à haute fréquence sur des images de mauvaise qualité réelles. Cependant, la plupart de ces méthodes nécessitent une image de référence de haute qualité appartenant à la même identité, ce qui les rend applicables uniquement dans des scénarios limités. Pour résoudre ce problème, cet article propose un réseau profond de dictionnaire facial (dénommé DFDNet) pour guider le processus de restauration des observations dégradées. Tout d'abord, nous utilisons K-means pour générer des dictionnaires profonds pour les composants faciaux significatifs au plan perceptif (c'est-à-dire, yeux gauche/droit, nez et bouche) à partir d'images de haute qualité. Ensuite, avec l'entrée dégradée, nous correspondons et sélectionnons les caractéristiques des composants les plus similaires à partir de leurs dictionnaires respectifs et transférons les détails de haute qualité vers l'entrée via le bloc de transfert de caractéristiques du dictionnaire (DFT) proposé. Plus particulièrement, le composant AdaIN est utilisé pour éliminer la diversité stylistique entre les caractéristiques d'entrée et du dictionnaire (par exemple, l'éclairage), et un score de confiance est proposé pour fusionner adaptativement la caractéristique du dictionnaire à l'entrée. Enfin, des dictionnaires multi-échelles sont adoptés progressivement pour permettre une restauration allant du grossier au fin. Les expériences montrent que notre méthode proposée peut atteindre des performances plausibles tant dans l'évaluation quantitative que qualitative, et plus important encore, elle peut générer des résultats réalistes et prometteurs sur des images réelles dégradées sans nécessiter une image de référence appartenant à l'identité concernée. Le code source et les modèles sont disponibles à l'adresse \url{https://github.com/csxmli2016/DFDNet}.