Synergie zwischen 3DMM und 3D-Landmarken für genaue 3D-Gesichtsgeometrie

Diese Arbeit untersucht das Lernen aus einem Synergieprozess zwischen 3D-Morphable-Modellen (3DMM) und 3D-Gesichtslandmarken zur Vorhersage der vollständigen 3D-Gesichtsgeometrie, einschließlich 3D-Ausrichtung, Gesichtsausrichtung und 3D-Gesichtsmodellierung. Unser Synergieprozess nutzt einen Repräsentationszyklus für die Parameter von 3DMM und 3D-Landmarken. Die 3D-Landmarken können aus durch die Parameter des 3DMM erstellten Gesichtsgittern extrahiert und verfeinert werden. Im nächsten Schritt umkehren wir die Repräsentationsrichtung und zeigen, dass die Vorhersage der Parameter des 3DMM aus dünn besetzten 3D-Landmarken den Informationsfluss verbessert. Gemeinsam schaffen wir einen Synergieprozess, der die Beziehung zwischen 3D-Landmarken und den Parametern des 3DMM nutzt, wodurch sie zusammen zu einer besseren Leistung beitragen. Wir validieren unseren Beitrag umfassend an den vollen Aufgaben der Gesichtsgeometrievorhersage und zeigen unsere überlegene und robuste Leistung bei diesen Aufgaben in verschiedenen Szenarien. Insbesondere verwenden wir nur einfache und weit verbreitete Netzwerkoperationen, um eine schnelle und genaue Vorhersage der Gesichtsgeometrie zu erreichen.Codes und Daten: https://choyingw.github.io/works/SynergyNet/