Kontextbasierte Emotionserkennung unter Verwendung des EMOTIC-Datensatzes

In unserem Alltag und in sozialen Interaktionen versuchen wir häufig, die emotionalen Zustände von Menschen wahrzunehmen. Es wurde viel Forschung betrieben, um Maschinen eine ähnliche Fähigkeit zur Erkennung von Emotionen zu verleihen. Aus der Perspektive der Computer Vision haben die meisten bisherigen Bemühungen sich auf die Analyse von Gesichtsausdrücken und in einigen Fällen auch auf die Körperhaltung konzentriert. Einige dieser Methoden funktionieren in spezifischen Einstellungen bemerkenswert gut. Ihre Leistung ist jedoch in natürlichen, unbeschränkten Umgebungen begrenzt. Psychologische Studien zeigen, dass der Szenenkontext neben den Gesichtsausdrücken und der Körperhaltung wichtige Informationen für unsere Wahrnehmung von Menschenemotionen liefert. Die Verarbeitung des Kontextes für die automatische Emotionserkennung wurde jedoch bisher nicht tiefgehend erforscht, teilweise aufgrund des Mangels an geeigneten Daten. In diesem Artikel stellen wir EMOTIC vor, einen Datensatz von Bildern von Menschen in einer Vielzahl natürlicher Situationen, annotiert mit ihren sichtbaren Emotionen. Der EMOTIC-Datensatz kombiniert zwei verschiedene Arten der Emotionsdarstellung: (1) eine Menge von 26 diskreten Kategorien und (2) die kontinuierlichen Dimensionen Valenz, Erregung und Dominanz. Wir präsentieren außerdem eine detaillierte statistische und algorithmische Analyse des Datensatzes sowie eine Analyse der Übereinstimmung der Annotatoren. Mit dem EMOTIC-Datensatz trainieren wir verschiedene CNN-Modelle zur Emotionserkennung, indem wir die Informationen aus dem Begrenzungsrahmen (Bounding Box), der die Person enthält, mit dem kontextuellen Informationsgehalt aus der Szene kombinieren. Unsere Ergebnisse zeigen, wie der Szenenkontext wichtige Informationen zur automatischen Erkennung emotionaler Zustände bereitstellt und weitere Forschungen in diese Richtung anregt. Der Datensatz und das Code sind Open Source und unter folgender Adresse verfügbar: https://github.com/rkosti/emotic sowie der Link zum peer-reviewten veröffentlichten Artikel: https://ieeexplore.ieee.org/document/8713881