Command Palette
Search for a command to run...
ExpNet: markenfreies, tiefes, 3D-Gesichtsausdruckmodell
ExpNet: markenfreies, tiefes, 3D-Gesichtsausdruckmodell
Zusammenfassung
Wir beschreiben eine auf Deep Learning basierende Methode zur Schätzung von 3D-Gesichtsausdrucks-Koeffizienten. Im Gegensatz zu früheren Ansätzen beruht unser Verfahren nicht auf der Detektion von Gesichtslandmarken als Zwischenschritt. Kürzlich veröffentlichte Methoden haben gezeigt, dass ein Convolutional Neural Network (CNN) direkt aus Bildintensitäten präzise und diskriminative Darstellungen eines 3D-Morphable-Model (3DMM) schätzen kann. Durch die Verzicht auf die Detektion von Gesichtslandmarken gelang es diesen Ansätzen, auch bei verdeckten Gesichtern unter bisher ungekannten, realen (in-the-wild) Aufnahmebedingungen zuverlässige Formschätzungen zu erzielen. Auf dieser Grundlage zeigen wir, dass auch Gesichtsausdrücke mit einem robusten, tiefen und landmarkenfreien Ansatz geschätzt werden können. Unser ExpNet-CNN wird direkt auf die Intensitäten eines Gesichtsbildes angewendet und schätzt einen 29-dimensionalen Vektor von 3D-Ausdrucks-Koeffizienten. Wir stellen eine einzigartige Methode zur Datensammlung zur Trainingszeit dieses Netzwerks vor, die die Robustheit tiefer Netzwerke gegenüber Rauschen in den Trainingslabels nutzt. Darüber hinaus präsentieren wir eine neuartige Methode zur Bewertung der Genauigkeit geschätzter Ausdrucks-Koeffizienten: durch die Messung der Fähigkeit, Gesichtsausdrücke auf den Benchmarks CK+ und EmotiW-17 zur Emotionserkennung korrekt zu erfassen. Wir zeigen, dass unsere ExpNet-Methode Ausdrucks-Koeffizienten liefert, die sich gegenüber Emotionen besser unterscheiden lassen als jene, die mit aktuellen Methoden basierend auf Gesichtslandmarkendetektion ermittelt werden. Zudem nimmt dieser Vorteil mit abnehmender Bildskala zu, was belegt, dass unser ExpNet robuster gegenüber Skalenänderungen ist als traditionelle Landmarken-basierte Methoden. Schließlich ist unsere ExpNet-Methode bei vergleichbarer Genauigkeit um mehrere Größenordnungen schneller als ihre Alternativen.