Lernen von symmetrie-konsistenten tiefen CNNs für das Gesichtsvervollständigen

Tiefe Faltungsnetze (CNNs) haben bei der Gesichtsvervollständigung großen Erfolg erzielt, um plausibel aussehende Gesichtsstrukturen zu generieren. Diese Methoden sind jedoch begrenzt, was die Wahrung der globalen Konsistenz zwischen den Gesichtskomponenten und das Wiederherstellen feiner Gesichtsdetails betrifft. Andererseits ist Spiegelsymmetrie eine ausgeprägte Eigenschaft von Gesichtsbildern und nützt der Gesichtserkennung sowie dem Modellieren von Konsistenz, wurde aber bisher in tiefen Gesichtsvervollständigungen nicht untersucht. In dieser Arbeit nutzen wir zwei Arten von symmetriebewussten Untermodellen, um ein symmetriekonsistentes CNN-Modell (SymmFCNet) für effektive Gesichtsvervollständigung zu entwickeln. Für fehlende Pixel auf nur einer Seite des Gesichts wird ein Beleuchtungsgewichteter Warping-Untermodell entwickelt, um das Warping und die Beleuchtungsumgewichtung der anderen Gesichtshälfte zu leiten. Bei fehlenden Pixeln auf beiden Seiten des Gesichts stellen wir ein generatives Rekonstruktionsuntermodell zusammen mit einem perkzeptuellen Symmetrieloss vor, um die symmetrische Konsistenz der wiederhergestellten Strukturen sicherzustellen. Das SymmFCNet wird durch das Stapeln des generativen Rekonstruktionsuntermodells auf dem Beleuchtungsgewichteten Warping-Untermodell konstruiert und kann von einem Trainingsdatensatz unalignierter Gesichtsbilder end-to-end gelernt werden. Experimente zeigen, dass SymmFCNet hochwertige Ergebnisse sowohl bei Bildern mit synthetischer als auch mit realer Okklusion erzeugt und sich vorteilhaft gegenüber den aktuellen Stand der Technik verhält.