AOT: Appearance Optimal Transport basierter Identitätsaustausch für Fälschungserkennung

Neuere Studien haben gezeigt, dass die Leistungsfähigkeit von Fälschungserkennung durch den Einsatz vielfältiger und anspruchsvoller Deepfake-Datensätze verbessert werden kann. Aufgrund des Mangels an Deepfake-Datensätzen mit großer Varianz in der Erscheinungsbild, die durch aktuelle Identitätstauschmethoden nur schwer erzeugt werden können, kann der Erkennungsalgorithmus in solchen Situationen versagen. In dieser Arbeit präsentieren wir einen neuen Identitätstauschalgorithmus mit erheblichen Unterschieden im Erscheinungsbild, der speziell für die Gesichtsfälschungserkennung geeignet ist. Die Hauptursache für diese Erscheinungsunterschiede liegt in den erheblichen Abweichungen in Beleuchtungsbedingungen und Hautfarben, die in realen Szenarien weit verbreitet sind. Aufgrund der Schwierigkeiten bei der Modellierung komplexer Erscheinungszuordnungen ist es jedoch herausfordernd, fein strukturierte Erscheinungsbilder adaptiv zu übertragen, während gleichzeitig die Identitätseigenschaften erhalten bleiben. In diesem Beitrag formulieren wir die Erscheinungszuordnung als ein Optimal-Transport-Problem und schlagen ein Modell namens Appearance Optimal Transport (AOT) vor, das diese Zuordnung sowohl im latente als auch im Pixelraum beschreibt. Konkret wird ein Nachbeleuchtungs-Generator entworfen, um den optimalen Transportplan zu simulieren. Dieser wird durch Minimierung der Wasserstein-Distanz der gelernten Merkmale im latente Raum gelöst und ermöglicht eine bessere Leistung bei geringerem Rechenaufwand im Vergleich zu herkömmlichen Optimierungsansätzen. Um die Lösung des Optimal-Transport-Plans weiter zu verfeinern, entwickeln wir ein Segmentierungsspiel, das die Wasserstein-Distanz im Pixelraum minimiert. Hierbei wird ein Diskriminator eingeführt, um gefälschte Bildteile von einer Mischung aus echten und gefälschten Bildpatches zu unterscheiden. Umfangreiche Experimente zeigen die Überlegenheit unseres Ansatzes gegenüber aktuellen State-of-the-Art-Methoden sowie die Fähigkeit unserer generierten Daten, die Leistungsfähigkeit der Gesichtsfälschungserkennung signifikant zu steigern.