Auf der Suche nach einem robusten Modell zur Gesichtsausdruckserkennung: Eine großskalige visuelle Cross-Corpus-Studie

Seit bereits zwei Jahrzehnten suchen viele Forscher nach einem robusten Emotionserkennungssystem. Eine solche Technologie würde Computer-Systeme auf eine neue Stufe der Interaktion heben und durch die Analyse des emotionalen Zustands des Nutzers eine viel natürlichere Rückmeldung während der Mensch-Computer-Interaktion ermöglichen. Ein zentrales Problem in diesem Bereich ist jedoch die mangelnde Generalisierungsfähigkeit: Die Leistung von Modellen degradiert drastisch, wenn sie auf einem Datensatz trainiert und auf einem anderen evaluiert werden. Obwohl einige Studien in diese Richtung unternommen wurden, bleibt die visuelle Modalität weiterhin unterforscht. Daher präsentieren wir eine visuelle Cross-Corpus-Studie, die mit acht unterschiedlichen Datensätzen durchgeführt wurde, die sich in Aufnahmebedingungen, den äußeren Merkmalen der Probanden sowie der Komplexität der Datenaufbereitung unterscheiden. Wir schlagen einen end-to-end-Emotionserkennungsansatz basierend auf visuellen Daten vor, der aus einem robusten vortrainierten Backbone-Modell und einem zeitlichen Subsystem besteht, um zeitliche Abhängigkeiten über viele Videoframes zu modellieren. Zudem wird eine detaillierte Analyse der Stärken und Fehler des Backbone-Modells vorgestellt, die dessen hohe Generalisierungsfähigkeit belegt. Unsere Ergebnisse zeigen, dass das Backbone-Modell eine Genauigkeit von 66,4 % auf dem AffectNet-Datensatz erreicht hat und damit alle bisherigen State-of-the-Art-Resultate übertrifft. Darüber hinaus hat das CNN-LSTM-Modell bei Cross-Corpus-Experimenten auf dynamischen visuellen Datensätzen eine anständige Leistung erbracht und Ergebnisse erzielt, die mit den aktuellen State-of-the-Art-Methoden vergleichbar sind. Schließlich stellen wir die Backbone- und CNN-LSTM-Modelle für zukünftige Forschung zur Verfügung; sie sind über GitHub zugänglich.