Super-FAN : Localisation intégrée des points de repère faciaux et sur-résolution des visages en basse résolution du monde réel dans des poses arbitraires à l'aide de GANs

Ce travail aborde deux tâches difficiles : l'amélioration de la qualité des images faciales à faible résolution et la détection précise des points d'intérêt faciaux sur ces images de mauvaise résolution. À cette fin, nous apportons les cinq contributions suivantes :(a) Nous proposons Super-FAN : le tout premier système end-to-end capable de traiter simultanément les deux tâches, à savoir l'amélioration de la résolution faciale et la détection des points d'intérêt faciaux. L'originalité de Super-FAN réside dans l'intégration d'informations structurelles dans un algorithme de super-résolution basé sur une GAN (Generative Adversarial Network), en incorporant un sous-réseau pour l'alignement facial par régression de cartes de chaleur et en optimisant une nouvelle perte basée sur les cartes de chaleur.(b) Nous démontrons les avantages d'un entraînement conjoint des deux réseaux en présentant des résultats satisfaisants non seulement sur des images frontales (comme dans les travaux antérieurs), mais également sur l'ensemble du spectre des poses faciales, et non seulement sur des images à faible résolution synthétiques (comme dans les travaux antérieurs), mais aussi sur des images du monde réel.(c) Nous améliorons l'état de l'art en matière de super-résolution faciale en proposant une nouvelle architecture basée sur les résidus.(d) Quantitativement, nous montrons une amélioration significative par rapport à l'état de l'art pour la fois la super-résolution faciale et l'alignement.(e) Qualitativement, nous présentons pour la première fois des résultats satisfaisants sur des images à faible résolution du monde réel.