One-Shot Gesichtsaustausch auf Megapixelbasis

Das Gesichtsaustauschen hat sowohl positive Anwendungen wie Unterhaltung und Mensch-Computer-Interaktion als auch negative Anwendungen wie DeepFake-Gefahren für Politik und Wirtschaft. Dennoch ist es notwendig, die Vorgehensweise fortschrittlicher Methoden für hochwertigen Gesichtsaustausch zu verstehen und ausreichend und repräsentative Gesichtsaustauschbilder zu generieren, um DeepFake-Erkennungsalgorithmen zu trainieren. In dieser Arbeit wird die erste Methode auf Megapixel-Niveau für den einstufigen Gesichtsaustausch vorgeschlagen (kurz MegaFS). Zunächst organisiert MegaFS die Gesichtsdarstellung hierarchisch durch den vorgeschlagenen Hierarchischen Repräsentationsgesichtscodierer (HieRFE) in einem erweiterten latenten Raum, um mehr gesichtliche Details beizubehalten, anstatt eine komprimierte Darstellung wie bei früheren Gesichtsaustauschmethoden. Zweitens wird ein sorgfältig entwickeltes Gesichtstransfermodul (FTM) vorgestellt, das die Identität von einem Quellbild ins Zielbild über einen nichtlinearen Pfad transferiert, ohne explizite Merkmalsentkopplung. Schließlich können die ausgetauschten Gesichter mit den Vorteilen der Trainingsstabilität und der leistungsfähigen Generierungskapazität von StyleGAN2 synthetisiert werden. Jeder Teil von MegaFS kann getrennt trainiert werden, so dass unser Modell die Anforderungen an GPU-Speicher für den Megapixel-Gesichtsaustausch erfüllt. Zusammengefasst sind vollständige Gesichtsdarstellung, stabile Trainingssessions und begrenzte Speichernutzung die drei neuartigen Beiträge zum Erfolg unserer Methode. Umfangreiche Experimente zeigen die Überlegenheit von MegaFS, und es wird die erste Datenbank auf Megapixel-Niveau für Forschungen zur DeepFake-Erkennung und Gesichtsbildbearbeitung im öffentlichen Bereich veröffentlicht. Der Datensatz ist unter diesem Link verfügbar.