EMOCA: emotionengetriebene monokulare Gesichtserfassung und -animation

Mit der zunehmenden Verbreitung von 3D-Gesichts-Avataren für die Kommunikation ist es entscheidend, dass diese Emotionen treu vermitteln. Leider sind die besten jüngsten Methoden, die parametrische 3D-Gesichtsmodelle aus monokularen Bildern ableiten, nicht in der Lage, das gesamte Spektrum facialer Ausdrücke – wie feine oder extreme Emotionen – adäquat zu erfassen. Wir stellen fest, dass die üblichen Rekonstruktionsmetriken, die zur Trainingszeit verwendet werden (Landmark-Reprojektionsfehler, photometrischer Fehler und Gesichtserkennungsverlust), unzureichend sind, um hochauflösende Ausdrücke zu erfassen. Als Folge ergeben sich Gesichtsgeometrien, die nicht mit dem emotionalen Inhalt des Eingabebildes übereinstimmen. Wir begegnen diesem Problem mit EMOCA (EMOtion Capture and Animation), indem wir während des Trainings eine neuartige tiefenperzeptive Emotionskonsistenzverlustfunktion einführen, die sicherstellt, dass die rekonstruierte 3D-Ausdrucksform dem im Eingabebild dargestellten Ausdruck entspricht. Während EMOCA Rekonstruktionsfehler erreicht, die mit den aktuellen Bestleistungen vergleichbar sind, übertrifft es diese erheblich hinsichtlich der Qualität der rekonstruierten Ausdrücke und der wahrgenommenen emotionalen Inhalte. Zudem schätzen wir direkt Werte für Valenz und Erregung sowie klassifizieren grundlegende Emotionen aus den geschätzten 3D-Gesichtsparametern. Bei der Aufgabe der Emotionserkennung in natürlicher Umgebung erzielt unser rein geometrischer Ansatz Ergebnisse, die mit den besten bildbasierten Methoden vergleichbar sind, was die Bedeutung von 3D-Geometrie für die Analyse menschlichen Verhaltens unterstreicht. Das Modell und der Code sind öffentlich unter https://emoca.is.tue.mpg.de verfügbar.