HifiFace: 3D-Shape- und semantischer Prior gestützter hochauflösender Gesichtsaustausch

In dieser Arbeit stellen wir eine hochfidele Gesichtsaustauschmethode namens HifiFace vor, die die Gesichtsform des Quellgesichts gut bewahrt und photo-realistische Ergebnisse erzeugt. Im Gegensatz zu bestehenden Gesichtsaustauschverfahren, die lediglich ein Gesichtserkennungsmodell verwenden, um die Identitätsähnlichkeit zu gewährleisten, führen wir eine 3D-Form-agnostische Identität ein, die die Gesichtsform mittels geometrischer Supervision aus 3DMM (3D Morphable Models) und einer 3D-Gesichtsrekonstruktionsmethode steuert. Gleichzeitig integrieren wir das Semantic Facial Fusion-Modul, um die Kombination von Encoder- und Decoder-Features zu optimieren und adaptives Mischen durchzuführen, was zu realistischeren Ergebnissen führt. Umfangreiche Experimente an Gesichtern aus natürlichen Umgebungen (in the wild) zeigen, dass unsere Methode eine bessere Identitätsbewahrung, insbesondere hinsichtlich der Gesichtsform, ermöglicht und photo-realistischere Ergebnisse erzielt als bisherige state-of-the-art-Verfahren.