Die Nutzung semantischer Szenenmerkmale und mehrströmiger Faltungsarchitekturen in einem kontextuellen Ansatz für die video-basierte visuelle Emotionserkennung im Freien

In dieser Arbeit befassen wir uns mit der Aufgabe der video-basierten visuellen Emotionserkennung im realen Umfeld. Standardmethoden, die sich ausschließlich auf die Extraktion von Körperteilen und Gesichtsmerkmalen stützen, scheitern oft an genauer Emotionsvorhersage, wenn diese Quellen affektiver Informationen aufgrund von Kopf-/Körperposition, geringer Auflösung und schlechter Beleuchtung nicht zugänglich sind. Wir streben an, dieses Problem durch die Nutzung des visuellen Kontexts in Form von Szeneneigenschaften und -attributen zu lindern, als Teil eines umfassenderen Emotionserkennungsrahmens. Temporale Segmentnetze (TSN) bilden das Rückgrat unseres vorgeschlagenen Modells. Neben dem RGB-Eingabemodus nutzen wir dichten optischen Fluss (Optical Flow), indem wir einen intuitiven Mehrstromansatz für eine effektivere Bewegungscodierung verfolgen. Darüber hinaus richten wir unsere Aufmerksamkeit auf skeletonbasiertes Lernen und nutzen aktionszentrierte Daten als Mittel zur Vortrainierung eines räumlich-zeitlichen Graphik-Faltungsnetzes (ST-GCN) für die Emotionserkennung. Unsere umfangreichen Experimente mit dem anspruchsvollen Body Language Dataset (BoLD) bestätigen die Überlegenheit unserer Methoden gegenüber existierenden Ansätzen. Durch die ordnungsgemäße Integration aller genannten Module in ein Netzwerkensemble gelingt es uns, die bisher besten veröffentlichten Erkennungswerte erheblich zu übertreffen.