Réseau en Cascade Profonde à Double Branche pour la Hallucination Faciale

Nous présentons un nouveau cadre pour la reconstruction d'images de visages avec des poses non contraintes et une très faible résolution (taille du visage aussi petite que 5pxIOD). Contrairement aux études existantes qui ignorent généralement ou supposent une configuration spatiale pré-alignée du visage (par exemple, la localisation des points clés faciaux ou le champ de correspondance dense), nous optimisons alternativement deux tâches complémentaires, à savoir la reconstruction du visage et l'estimation du champ de correspondance dense, dans un cadre unifié. De plus, nous proposons un nouveau réseau neuronal profond à double branche avec des portes (gated deep bi-network) qui contient deux branches spécialisées fonctionnellement pour récupérer différents niveaux de détails texturaux. Des expériences approfondies montrent que cette formulation permet une qualité exceptionnelle de reconstruction sur des visages de faible résolution en conditions réelles, avec des variations importantes de pose et d'éclairage.