Command Palette
Search for a command to run...
Erzeugung von 3D-Gesichtern mit Hilfe von Faltungsnetz-Autoencodern
Erzeugung von 3D-Gesichtern mit Hilfe von Faltungsnetz-Autoencodern
Anurag Ranjan Timo Bolkart Soubhik Sanyal Michael J. Black
Zusammenfassung
Gelernte 3D-Darstellungen von menschlichen Gesichtern sind für Computer-Vision-Probleme wie die 3D-Gesichtsverfolgung und -rekonstruktion aus Bildern sowie für Grafikanwendungen wie die Charaktergenerierung und -animation nützlich. Traditionelle Modelle lernen eine latente Darstellung eines Gesichts unter Verwendung linearer Unterräume oder höherdimensionaler Tensor-Verallgemeinerungen. Aufgrund dieser Linearität können sie extrem starke Verformungen und nicht-lineare Ausdrücke nicht erfassen. Um dies zu beheben, stellen wir ein flexibles Modell vor, das eine nicht-lineare Darstellung eines Gesichts durch spektrale Faltungen auf einer Netzflächenoberfläche lernt. Wir führen Netzabtastoperationen ein, die es ermöglichen, eine hierarchische Netzdarstellung zu erstellen, die nicht-lineare Variationen in Form und Ausdruck auf verschiedenen Skalen im Modell erfasst. In einem variationellen Kontext sampelt unser Modell vielfältige realistische 3D-Gesichter aus einer mehrdimensionalen Gauß-Verteilung. Unsere Trainingsdaten bestehen aus 20.466 Netzen mit extremen Ausdrücken, die bei 12 verschiedenen Probanden aufgenommen wurden. Trotz der begrenzten Trainingsdaten übertrifft unser trainiertes Modell den Stand der Technik um 50 % geringeren Rekonstruktionsfehler und verwendet dabei 75 % weniger Parameter. Wir zeigen außerdem, dass das Ersetzen des Ausdrucksraums eines existierenden Face-Modells durch unseren Autoencoder einen geringeren Rekonstruktionsfehler erreicht. Unsere Daten, unser Modell und unser Code sind unter http://github.com/anuragranj/coma verfügbar.