HyperAIHyperAI

Command Palette

Search for a command to run...

HiFace: Hochfidele 3D-Gesichtsrekonstruktion durch das Lernen statischer und dynamischer Details

Zenghao Chai Tianke Zhang Tianyu He Xu Tan Tadas Baltrušaitis HsiangTao Wu Runnan Li Sheng Zhao Chun Yuan Jiang Bian

Zusammenfassung

3D Morphable Models (3DMMs) zeigen großes Potenzial, aus einer einzigen Bildaufnahme realistische und animierbare 3D-Gesichtsflächen zu rekonstruieren. Die Gesichtsform wird dabei sowohl durch die grobe Form als auch durch statische Details (z. B. personenspezifische Erscheinungsbilder) und dynamische Details (z. B. durch Mimik hervorgerufene Falten) beeinflusst. Bisherige Ansätze stoßen bei der Entkopplung statischer und dynamischer Details unter Verwendung von Bildniveau-Supervision auf Schwierigkeiten, was zu unrealistischen Rekonstruktionen führt. In diesem Artikel zielen wir auf eine hochfidele 3D-Gesichtsrekonstruktion ab und stellen HiFace vor, welches die statischen und dynamischen Details explizit modelliert. Konkret wird der statische Detailanteil als lineare Kombination einer Verschiebungs-Basis, während die dynamischen Details als lineare Interpolation zweier Verschiebungsabbildungen mit polarisierten Ausdrucksformen modelliert werden. Wir nutzen mehrere Verlustfunktionen, um gemeinsam die grobe Form und die feinen Details sowohl anhand synthetischer als auch realer Datensätze zu lernen, wodurch HiFace in die Lage versetzt wird, hochfidele 3D-Formen mit animierbaren Details zu rekonstruieren. Umfangreiche quantitative und qualitative Experimente belegen, dass HiFace die derzeit beste Rekonstruktionsqualität erreicht und sowohl statische als auch dynamische Details treu wiedergibt. Die Projektseite finden Sie unter https://project-hiface.github.io.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HiFace: Hochfidele 3D-Gesichtsrekonstruktion durch das Lernen statischer und dynamischer Details | Paper | HyperAI