EmotiCon: Kontextsensible multimodale Emotionserkennung unter Verwendung des Prinzips von Frege

Wir stellen EmotiCon vor, einen lernbasierten Algorithmus zur kontextsensiblen Erkennung wahrgenommener menschlicher Emotionen aus Videos und Bildern. Inspiriert durch Freges Kontextprinzip aus der Psychologie kombiniert unser Ansatz drei Interpretationen des Kontextes für die Emotionserkennung. Unsere erste Interpretation basiert auf der Verwendung mehrerer Modalitäten (z.B. Gesichter und Gangarten) zur Emotionserkennung. Für die zweite Interpretation sammeln wir semantischen Kontext aus dem Eingangsbild und verwenden ein selbst-merksamkeitsbasierendes CNN, um diese Informationen zu kodieren. Schließlich nutzen wir Tiefenkarten, um die dritte Interpretation im Zusammenhang mit soziodynamischen Interaktionen und der Nähe zwischen Akteuren zu modellieren.Die Effizienz unseres Netzwerks demonstrieren wir durch Experimente auf EMOTIC, einem Benchmark-Datensatz. Wir berichten über einen Average-Precision-(AP)-Wert von 35,48 über 26 Klassen hinweg, was eine Verbesserung von 7-8 gegenüber früheren Methoden darstellt. Darüber hinaus führen wir einen neuen Datensatz ein: GroupWalk, eine Sammlung von Videos, die in verschiedenen realen Umgebungen von Menschen beim Gehen aufgenommen wurden. Auf GroupWalk erreichen wir einen AP-Wert von 65,83 über 4 Kategorien hinweg, was ebenfalls eine Verbesserung gegenüber früheren Methoden ist.