HyperAIHyperAI
vor 9 Tagen

FaceDancer: Pose- und Verdeckungsbehaftete Hochfidelitäts-Gesichtsaustausch

Felix Rosberg, Eren Erdal Aksoy, Fernando Alonso-Fernandez, Cristofer Englund
FaceDancer: Pose- und Verdeckungsbehaftete Hochfidelitäts-Gesichtsaustausch
Abstract

In dieser Arbeit präsentieren wir eine neue einstufige Methode für gesichtsunspezifisches Face Swapping und Identitätsübertragung, die als FaceDancer bezeichnet wird. Wir leisten zwei wesentliche Beiträge: Adaptive Feature Fusion Attention (AFFA) und Interpretable Feature-Similaritäts-Regularisierung (IFSR). Der AFFA-Modul wird im Decoder integriert und lernt adaptiv, Attributmerkmale und identitätsbedingte Merkmale zu fusionieren, ohne zusätzliche Gesichtssegmentierungsprozesse zu erfordern. Im Rahmen von IFSR nutzen wir die Zwischenmerkmale eines Identitäts-Encoders, um wichtige Attribute wie Kopfhaltung, Gesichtsausdruck, Beleuchtung und Verdeckung im Zielgesicht zu bewahren, während gleichzeitig die Identität des Quellgesichts mit hoher Fidelität übertragen wird. Wir führen umfangreiche quantitative und qualitative Experimente auf verschiedenen Datensätzen durch und zeigen, dass FaceDancer im Vergleich zu anderen state-of-the-art-Netzwerken hinsichtlich der Identitätsübertragung übertrifft und erheblich bessere Haltungsverwahrung als die meisten vorherigen Methoden bietet.