Multi-Label Compound Expression Recognition: C-EXPR-Datenbank und Netzwerk

Die Forschung im Bereich der automatischen Analyse von Gesichtsausdrücken konzentriert sich hauptsächlich auf die Erkennung der sieben grundlegenden Emotionen. Komplexe Ausdrücke sind dagegen vielfältiger und spiegeln die Komplexität und Feinheiten unserer alltäglichen affektiven Ausdrucksformen genauer wider. Aufgrund der geringen Anzahl existierender Datensätze – die zudem klein, laborbedingt, unbalanciert und statisch sind – wurde bisher nur wenig Forschung im Bereich der Erkennung komplexer Ausdrücke (Compound Expression Recognition, CER) betrieben. In diesem Artikel stellen wir eine in-the-wild Audio-Visual-Datenbank, C-EXPR-DB, vor, die aus 400 Videos mit insgesamt 200.000 Frames besteht und hinsichtlich 13 komplexer Ausdrücke, valenz- und arousal-basierter Emotionsbeschreibungen, Action Units (AUs), Sprache, Gesichtslandmarken sowie Attribute annotiert ist. Außerdem schlagen wir C-EXPR-NET vor, ein Multi-Task-Learning (MTL)-Verfahren zur gleichzeitigen Erkennung komplexer Ausdrücke (CER) und zur Detektion von Action Units (AU-D); letztere Aufgabe dient dabei der Verbesserung der CER-Leistung. Für die AU-D verwenden wir neben visuellen Informationen auch semantische Beschreibungen der Action Units. Für die CER setzen wir eine Multi-Label-Formulierung sowie eine KL-Divergenz-Verlustfunktion ein. Zudem führen wir eine Verteilungsanpassungsverlustfunktion ein, um die CER- und AU-D-Aufgaben zu koppeln, um deren Leistung zu steigern und negatives Transferphänomene (d. h. die Situation, in der das MTL-Modell schlechter abschneidet als mindestens eines der Einzelaufgabenmodelle) zu verringern. Eine umfassende experimentelle Studie belegt die herausragende Leistung von C-EXPR-NET und bestätigt die theoretischen Ansätze. Schließlich zeigt sich, dass C-EXPR-NET in der Lage ist, sein Wissen effektiv in neue Emotionserkennungskontexte zu verallgemeinern, und zwar in einer Zero-Shot-Weise.