3D-Gesichtsrekonstruktion aus einem einzelnen Bild unter Zuhilfenahme von 2D-Gesichtsbildern aus der Wildnis

Die 3D-Gesichtsrekonstruktion aus einem einzelnen 2D-Bild ist ein anspruchsvolles Problem mit weitreichenden Anwendungen. Aktuelle Methoden zielen in der Regel darauf ab, ein CNN-basiertes 3D-Gesichtsmodell zu lernen, das Koeffizienten des 3D-Morphable-Modells (3DMM) aus 2D-Bildern regressiert, um eine 3D-Gesichtsrekonstruktion oder eine dichte Gesichtsausrichtung zu erzeugen. Allerdings begrenzt der Mangel an Trainingsdaten mit 3D-Anmerkungen die Leistung dieser Methoden erheblich. Um dieses Problem zu mildern, schlagen wir eine neuartige Methode des 2D-gestützten selbstüberwachten Lernens (2DASL) vor, die effektiv "im Wild" befindliche 2D-Gesichtsbilder mit verrauschten Landmark-Informationen nutzen kann, um das Lernen von 3D-Gesichtsmodellen erheblich zu verbessern. Insbesondere wird durch die Verwendung der dünn besetzten 2D-Facial-Landmarks als zusätzliche Information in der 2DSAL vier neuartige Selbstüberwachungsverfahren eingeführt, die den Vorgang der Vorhersage von 2D- und 3D-Landmarks als einen Selbstabbildungsprozess betrachten. Dies beinhaltet die Konsistenz der Vorhersagen von 2D- und 3D-Landmarks, die Zykluskonsistenz über die Vorhersage von 2D-Landmarks sowie eine Selbstkritik über die auf Basis von Landmark-Vorhersagen berechneten Koeffizienten des 3DMM. Durch diese vier Selbstüberwachungsverfahren reduziert die 2DASL-Methode erheblich den Bedarf an konventionellen gepaarten 2D-zu-3D-Anmerkungen und ermöglicht es, hochwertigere 3D-Gesichtsmodelle ohne zusätzliche 3D-Anmerkungen zu erstellen. Experimente mit mehreren anspruchsvollen Datensätzen zeigen, dass unsere Methode sowohl bei der 3D-Gesichtsrekonstruktion als auch bei der dichten Gesichtsausrichtung deutlich bessere Ergebnisse als state-of-the-art-Methoden erzielt.