HyperAIHyperAI

Command Palette

Search for a command to run...

EmotiCon: Kontextsensible multimodale Emotionserkennung unter Verwendung des Prinzips von Frege

Trisha Mittal Pooja Guhan Uttaran Bhattacharya Rohan Chandra Aniket Bera Dinesh Manocha

Zusammenfassung

Wir stellen EmotiCon vor, einen lernbasierten Algorithmus zur kontextsensiblen Erkennung wahrgenommener menschlicher Emotionen aus Videos und Bildern. Inspiriert durch Freges Kontextprinzip aus der Psychologie kombiniert unser Ansatz drei Interpretationen des Kontextes für die Emotionserkennung. Unsere erste Interpretation basiert auf der Verwendung mehrerer Modalitäten (z.B. Gesichter und Gangarten) zur Emotionserkennung. Für die zweite Interpretation sammeln wir semantischen Kontext aus dem Eingangsbild und verwenden ein selbst-merksamkeitsbasierendes CNN, um diese Informationen zu kodieren. Schließlich nutzen wir Tiefenkarten, um die dritte Interpretation im Zusammenhang mit soziodynamischen Interaktionen und der Nähe zwischen Akteuren zu modellieren.Die Effizienz unseres Netzwerks demonstrieren wir durch Experimente auf EMOTIC, einem Benchmark-Datensatz. Wir berichten über einen Average-Precision-(AP)-Wert von 35,48 über 26 Klassen hinweg, was eine Verbesserung von 7-8 gegenüber früheren Methoden darstellt. Darüber hinaus führen wir einen neuen Datensatz ein: GroupWalk, eine Sammlung von Videos, die in verschiedenen realen Umgebungen von Menschen beim Gehen aufgenommen wurden. Auf GroupWalk erreichen wir einen AP-Wert von 65,83 über 4 Kategorien hinweg, was ebenfalls eine Verbesserung gegenüber früheren Methoden ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
EmotiCon: Kontextsensible multimodale Emotionserkennung unter Verwendung des Prinzips von Frege | Paper | HyperAI