Apprentissage de CNN profonds cohérents en symétrie pour l'achèvement des visages

Les réseaux de neurones convolutifs profonds (CNNs) ont connu un grand succès dans le domaine du complétion faciale pour générer des structures faciales plausibles. Cependant, ces méthodes présentent des limitations en termes de maintien de la cohérence globale entre les composants du visage et de récupération des détails fins. D'un autre côté, la symétrie réflexive est une propriété importante des images faciales et bénéficie à la reconnaissance faciale ainsi qu'à la modélisation de la cohérence, mais elle n'a pas encore été étudiée dans le cadre du complétion facial profond. Dans ce travail, nous utilisons deux types de sous-réseaux imposant la symétrie pour former un modèle CNN respectant la symétrie (c'est-à-dire SymmFCNet) afin d'effectuer un complétion facial efficace. Pour les pixels manquants sur seulement l'une des moitiés du visage, un sous-réseau de déformation pondérée par l'éclairage a été développé pour guider la déformation et le réajustement de l'éclairage de l'autre moitié du visage. En ce qui concerne les pixels manquants sur les deux moitiés du visage, nous proposons un sous-réseau de reconstruction générative associé à une perte de symétrie perceptive pour imposer la cohérence symétrique des structures recréées. Le SymmFCNet est construit en empilant le sous-réseau de reconstruction générative sur le sous-réseau de déformation pondérée par l'éclairage, et peut être appris bout à bout à partir d'un ensemble d'entraînement d'images faciales non alignées. Les expériences montrent que SymmFCNet peut générer des résultats de haute qualité sur des images avec des occultations synthétiques et réelles, et se compare favorablement aux méthodes les plus avancées actuellement disponibles.