SimSwap: Ein effizienter Rahmen für hochauflösendes Gesichtsaustausch

Wir stellen einen effizienten Rahmenwerk, namens Simple Swap (SimSwap), vor, der auf eine allgemeine und hochfidele Gesichtsaustauschung abzielt. Im Gegensatz zu früheren Ansätzen, die entweder nicht in der Lage sind, auf beliebige Identitäten zu generalisieren, oder die Gesichtsausdrücke und Blickrichtung nicht hinreichend bewahren, ist unser Framework in der Lage, die Identität eines beliebigen Quellgesichts in ein beliebiges Zielgesicht zu übertragen, während die Attribute des Zielgesichts erhalten bleiben. Wir überwinden diese bisherigen Mängel auf zwei Weisen. Erstens führen wir das ID-Injektionsmodul (ID Injection Module, IIM) ein, das die Identitätsinformation des Quellgesichts auf der Merkmals-Ebene in das Zielgesicht überträgt. Durch dieses Modul erweitern wir die Architektur eines identitäts-spezifischen Gesichtsaustausch-Verfahrens zu einem Rahmenwerk für beliebige Gesichtsaustausch-Szenarien. Zweitens schlagen wir die schwache Merkmalsübereinstimmungsverlustfunktion (Weak Feature Matching Loss) vor, die unsere Methode effizient dabei unterstützt, die Gesichtsattribute implizit zu bewahren. Umfangreiche Experimente an natürlichen, wilden Gesichtern zeigen, dass SimSwap eine konkurrenzfähige Identitätsqualität erzielt und gleichzeitig die Erhaltung von Merkmalen besser bewältigt als bisherige State-of-the-Art-Methoden. Der Quellcode ist bereits auf GitHub verfügbar: https://github.com/neuralchen/SimSwap.