HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-Label Compound Expression Recognition: C-EXPR-Datenbank und Netzwerk

Dimitrios Kollias

Zusammenfassung

Die Forschung im Bereich der automatischen Analyse von Gesichtsausdrücken konzentriert sich hauptsächlich auf die Erkennung der sieben grundlegenden Emotionen. Komplexe Ausdrücke sind dagegen vielfältiger und spiegeln die Komplexität und Feinheiten unserer alltäglichen affektiven Ausdrucksformen genauer wider. Aufgrund der geringen Anzahl existierender Datensätze – die zudem klein, laborbedingt, unbalanciert und statisch sind – wurde bisher nur wenig Forschung im Bereich der Erkennung komplexer Ausdrücke (Compound Expression Recognition, CER) betrieben. In diesem Artikel stellen wir eine in-the-wild Audio-Visual-Datenbank, C-EXPR-DB, vor, die aus 400 Videos mit insgesamt 200.000 Frames besteht und hinsichtlich 13 komplexer Ausdrücke, valenz- und arousal-basierter Emotionsbeschreibungen, Action Units (AUs), Sprache, Gesichtslandmarken sowie Attribute annotiert ist. Außerdem schlagen wir C-EXPR-NET vor, ein Multi-Task-Learning (MTL)-Verfahren zur gleichzeitigen Erkennung komplexer Ausdrücke (CER) und zur Detektion von Action Units (AU-D); letztere Aufgabe dient dabei der Verbesserung der CER-Leistung. Für die AU-D verwenden wir neben visuellen Informationen auch semantische Beschreibungen der Action Units. Für die CER setzen wir eine Multi-Label-Formulierung sowie eine KL-Divergenz-Verlustfunktion ein. Zudem führen wir eine Verteilungsanpassungsverlustfunktion ein, um die CER- und AU-D-Aufgaben zu koppeln, um deren Leistung zu steigern und negatives Transferphänomene (d. h. die Situation, in der das MTL-Modell schlechter abschneidet als mindestens eines der Einzelaufgabenmodelle) zu verringern. Eine umfassende experimentelle Studie belegt die herausragende Leistung von C-EXPR-NET und bestätigt die theoretischen Ansätze. Schließlich zeigt sich, dass C-EXPR-NET in der Lage ist, sein Wissen effektiv in neue Emotionserkennungskontexte zu verallgemeinern, und zwar in einer Zero-Shot-Weise.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multi-Label Compound Expression Recognition: C-EXPR-Datenbank und Netzwerk | Paper | HyperAI