Zu einem hochgenauen nichtlinearen 3D-Face-Morphable-Modell

Das Einbetten von 3D-morphologischen Basisfunktionen in tiefe neuronale Netze eröffnet großes Potenzial für Modelle mit höherer Darstellungskraft. Allerdings erfordert das treue Lernen dieser Modelle aus einer Bildsammlung starke Regularisierung, um die Unsicherheiten im Lernprozess zu überwinden. Dies verhindert kritisch, dass wir hochaufgelöste Gesichtsmodelle lernen können, die notwendig sind, um Gesichtsbilder in hoher Detailgenauigkeit darzustellen. Um dieses Problem zu lösen, präsentiert dieser Artikel einen neuen Ansatz, bei dem zusätzliche Proxy-Modelle gelernt werden, um starke Regularisierungen zu umgehen und detaillierte Form- und Albedomodelle zu fördern. Um das Lernen zu erleichtern, schlagen wir zudem ein Dual-Pfad-Netzwerk vor, eine sorgfältig entwickelte Architektur, die ein Gleichgewicht zwischen globalen und lokalen Modellen herstellt. Durch die Verbesserung des nichtlinearen 3D-morphologischen Modells sowohl im Lernziel als auch in der Netzwerkarchitektur präsentieren wir ein Modell, das in der Fähigkeit überlegen ist, höhere Detailstufen zu erfassen als lineare oder frühere nichtlineare Vorgänger. Als Ergebnis erreicht unser Modell den aktuellen Stand der Technik bei der 3D-Gesichtsrekonstruktion durch ausschließliche Optimierung latenter Repräsentationen.