Hierarchisches Repräsentationsnetzwerk für eine genaue und detaillierte Gesichtsrekonstruktion aus In-the-Wild-Bildern

Aufgrund der beschränkten niedrigdimensionalen Repräsentationskapazität von 3DMM scheitern die meisten auf 3DMM basierenden Methoden zur Gesichtsrekonstruktion (Face Reconstruction, FR) daran, hochfrequente Gesichtsdetails wie Falten, Grübchen usw. präzise wiederzugeben. Einige Ansätze versuchen, dieses Problem durch die Einführung von Detailkarten oder nichtlinearer Operationen zu lösen, doch die Ergebnisse bleiben weiterhin wenig lebendig. Um dieses Problem anzugehen, stellen wir in diesem Artikel ein neuartiges hierarchisches Repräsentationsnetzwerk (Hierarchical Representation Network, HRN) vor, das eine genaue und detaillierte Gesichtsrekonstruktion aus einer einzigen Bildaufnahme ermöglicht. Konkret realisieren wir eine Geometrie-Entkoppelung und führen eine hierarchische Repräsentation ein, um eine detaillierte Modellierung des Gesichts zu erreichen. Gleichzeitig integrieren wir 3D-Vorwissen über Gesichtsdetails, um die Genauigkeit und Authentizität der Rekonstruktionsergebnisse zu verbessern. Außerdem schlagen wir ein De-Retouching-Modul vor, um eine bessere Entkoppelung von Geometrie und Erscheinungsbild zu erreichen. Es ist bemerkenswert, dass unser Framework durch Berücksichtigung der Detailkonsistenz verschiedener Ansichten auf eine Multi-View-Architektur erweitert werden kann. Umfangreiche Experimente auf zwei Single-View- und zwei Multi-View-FR-Benchmarks zeigen, dass unsere Methode gegenüber bestehenden Ansätzen sowohl in Bezug auf Rekonstruktionsgenauigkeit als auch visuelle Qualität überlegen ist. Abschließend stellen wir eine hochwertige 3D-Gesichtsdatenbank namens FaceHD-100 vor, um die Forschung zur hochfidelity-Gesichtsrekonstruktion voranzutreiben. Die Projekt-Homepage finden Sie unter: https://younglbw.github.io/HRN-homepage/.