HyperAIHyperAI

Command Palette

Search for a command to run...

3D-Gesichtsrekonstruktion aus einem einzelnen Bild unter Zuhilfenahme von 2D-Gesichtsbildern aus der Wildnis

Xiaoguang Tu Jian Zhao Zihang Jiang Yao Luo Mei Xie Yang Zhao Linxiao He Zheng Ma Jiashi Feng

Zusammenfassung

Die 3D-Gesichtsrekonstruktion aus einem einzelnen 2D-Bild ist ein anspruchsvolles Problem mit weitreichenden Anwendungen. Aktuelle Methoden zielen in der Regel darauf ab, ein CNN-basiertes 3D-Gesichtsmodell zu lernen, das Koeffizienten des 3D-Morphable-Modells (3DMM) aus 2D-Bildern regressiert, um eine 3D-Gesichtsrekonstruktion oder eine dichte Gesichtsausrichtung zu erzeugen. Allerdings begrenzt der Mangel an Trainingsdaten mit 3D-Anmerkungen die Leistung dieser Methoden erheblich. Um dieses Problem zu mildern, schlagen wir eine neuartige Methode des 2D-gestützten selbstüberwachten Lernens (2DASL) vor, die effektiv "im Wild" befindliche 2D-Gesichtsbilder mit verrauschten Landmark-Informationen nutzen kann, um das Lernen von 3D-Gesichtsmodellen erheblich zu verbessern. Insbesondere wird durch die Verwendung der dünn besetzten 2D-Facial-Landmarks als zusätzliche Information in der 2DSAL vier neuartige Selbstüberwachungsverfahren eingeführt, die den Vorgang der Vorhersage von 2D- und 3D-Landmarks als einen Selbstabbildungsprozess betrachten. Dies beinhaltet die Konsistenz der Vorhersagen von 2D- und 3D-Landmarks, die Zykluskonsistenz über die Vorhersage von 2D-Landmarks sowie eine Selbstkritik über die auf Basis von Landmark-Vorhersagen berechneten Koeffizienten des 3DMM. Durch diese vier Selbstüberwachungsverfahren reduziert die 2DASL-Methode erheblich den Bedarf an konventionellen gepaarten 2D-zu-3D-Anmerkungen und ermöglicht es, hochwertigere 3D-Gesichtsmodelle ohne zusätzliche 3D-Anmerkungen zu erstellen. Experimente mit mehreren anspruchsvollen Datensätzen zeigen, dass unsere Methode sowohl bei der 3D-Gesichtsrekonstruktion als auch bei der dichten Gesichtsausrichtung deutlich bessere Ergebnisse als state-of-the-art-Methoden erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp