HiFace: Hochfidele 3D-Gesichtsrekonstruktion durch das Lernen statischer und dynamischer Details

3D Morphable Models (3DMMs) zeigen großes Potenzial, aus einer einzigen Bildaufnahme realistische und animierbare 3D-Gesichtsflächen zu rekonstruieren. Die Gesichtsform wird dabei sowohl durch die grobe Form als auch durch statische Details (z. B. personenspezifische Erscheinungsbilder) und dynamische Details (z. B. durch Mimik hervorgerufene Falten) beeinflusst. Bisherige Ansätze stoßen bei der Entkopplung statischer und dynamischer Details unter Verwendung von Bildniveau-Supervision auf Schwierigkeiten, was zu unrealistischen Rekonstruktionen führt. In diesem Artikel zielen wir auf eine hochfidele 3D-Gesichtsrekonstruktion ab und stellen HiFace vor, welches die statischen und dynamischen Details explizit modelliert. Konkret wird der statische Detailanteil als lineare Kombination einer Verschiebungs-Basis, während die dynamischen Details als lineare Interpolation zweier Verschiebungsabbildungen mit polarisierten Ausdrucksformen modelliert werden. Wir nutzen mehrere Verlustfunktionen, um gemeinsam die grobe Form und die feinen Details sowohl anhand synthetischer als auch realer Datensätze zu lernen, wodurch HiFace in die Lage versetzt wird, hochfidele 3D-Formen mit animierbaren Details zu rekonstruieren. Umfangreiche quantitative und qualitative Experimente belegen, dass HiFace die derzeit beste Rekonstruktionsqualität erreicht und sowohl statische als auch dynamische Details treu wiedergibt. Die Projektseite finden Sie unter https://project-hiface.github.io.