Tiefe Identitätsbewusste Übertragung von Gesichtseigenschaften

Dieses Papier stellt ein tiefes Faltungsnetzwerkmodell für die identitätsbewusste Übertragung (Identity-Aware Transfer, DIAT) von Gesichtseigenschaften vor. Bei gegebenem Quelleneingangsbild und Referenzeigenschaft zielt DIAT darauf ab, ein Gesichtsbild zu generieren, das die Referenzeigenschaft aufweist und gleichzeitig dieselbe oder eine ähnliche Identität wie das Eingangsbild behält. Im Allgemeinen besteht unser Modell aus einem Maskennetzwerk und einem Eigenschaftstransformationsnetzwerk, die zusammenarbeiten, um ein fotorealistisches Gesichtsbild mit der Referenzeigenschaft zu erzeugen. Da die Referenzeigenschaft möglicherweise nur bestimmte Bereiche des Bildes betrifft, wird das Maskennetzwerk eingeführt, um unzutreffende Bearbeitungen in attributunabhängigen Regionen zu vermeiden. Anschließend wird das geschätzte Maske verwendet, um das Eingangsbild und das transformierte Bild zu kombinieren und so das Übertragungsergebnis zu erzeugen. Für die gemeinsame Schulung des Transformationsnetzwerks und des Maskennetzwerks integrieren wir den adversären Eigenschaftsverlust, den identitätsbewussten adaptiven Perzeptionsverlust sowie den VGG-FACE-basierten Identitätsverlust. Darüber hinaus wird ein Rauschunterdrückungsnetzwerk vorgestellt, das zur perzeptuellen Regularisierung dient, um Artefakte im Übertragungsergebnis zu unterdrücken, während eine Eigenschaftsratio-Regulierung eingeführt wird, um die Größe der attributrelevanten Region einzuschränken. Unser DIAT bietet eine einheitliche Lösung für mehrere repräsentative Gesichtseigenschaftsübertragungsaufgaben, wie zum Beispiel Ausdrucksübertragung, Accessoireentfernung, Altersprogression und Geschlechtsübertragung, und kann für andere Gesichtsaufbereitungs­aufgaben wie Gesichtshalluzination erweitert werden. Die experimentellen Ergebnisse bestätigen die Effektivität der vorgeschlagenen Methode. Selbst bei identitätsbezogenen Eigenschaften (wie z.B. dem Geschlecht) kann unser DIAT durch Änderung der Eigenschaft visuell beeindruckende Ergebnisse erzielen, während es gleichzeitig die meisten identitätsbewussten Merkmale beibehält.