Réseau de super-résolution faciale guidé par l'attention des composants : CAGFace

Afin d’exploiter au mieux la structure sous-jacente des visages, l’information collective contenue dans les jeux de données visage et les estimations intermédiaires obtenues au cours du processus de suréchantillonnage, nous proposons ici un réseau neuronal entièrement convolutif à plusieurs étapes pour une super-résolution 4× appliquée aux images de visages. Nous imposons implicitement des cartes d’attention par composantes faciales à l’aide d’un réseau de segmentation, afin de permettre à notre modèle de se concentrer sur les motifs inhérents aux visages. Chaque étape de notre réseau est composée d’une couche initiale (stem layer), d’un squelette résiduel et de couches d’upsampling spatiales. Nous appliquons de manière récurrente ces étapes afin de reconstruire une image intermédiaire, puis réutilisons des versions converties de cette image via une transformation space-to-depth afin de booster progressivement la qualité de l’image. Nos expériences montrent que notre méthode de super-résolution de visages atteint des résultats quantitativement supérieurs et perceptivement plus satisfaisants par rapport aux approches de pointe.