Genaue 3D-Gesichtsrekonstruktion mit schwach überwachtem Lernen: Von einem einzelnen Bild zu einem Bildsatz

Kürzlich haben tiefes Lernen basierende Methoden zur 3D-Gesichtsrekonstruktion sowohl in Bezug auf Qualität als auch Effizienz vielversprechende Ergebnisse gezeigt. Allerdings erfordert das Training tiefer neuronaler Netze in der Regel ein großes Datenvolumen, während Gesichtsbilder mit wahrheitsgetreuen 3D-Gesichtsformen selten sind. In dieser Arbeit schlagen wir einen neuen Ansatz zur tiefen 3D-Gesichtsrekonstruktion vor, der 1) eine robuste, hybride Verlustfunktion für schwach überwachtes Lernen nutzt, die sowohl niedrigstufige als auch wahrnehmungsbasierte Informationen für die Überwachung berücksichtigt, und 2) durch Ausnutzen komplementärer Informationen aus verschiedenen Bildern zur Formaggregation eine Mehrbild-Gesichtsrekonstruktion durchführt. Unsere Methode ist schnell, genau und robust gegenüber Verdeckungen und großen Pose-Änderungen. Wir führen umfassende Experimente auf drei Datensätzen durch, vergleichen unsere Methode systematisch mit fünfzehn aktuellen Methoden und demonstrieren ihre Stand-der-Technik-Leistung.