Klassifizierung von Emotionen und Engagement im Online-Lernen basierend auf einem einzigen neuronalen Netzwerk zur Gesichtsausdruckserkennung

In diesem Artikel wird das Verhalten von Studierenden in einer E-Learning-Umgebung analysiert. Es wird ein neuartiger Datenfluss vorgeschlagen, der auf der Video-Face-Verarbeitung basiert. Zunächst werden Techniken zur Gesichtserkennung, -verfolgung und -clustering eingesetzt, um Gesichtssequenzen jedes einzelnen Studierenden zu extrahieren. Anschließend wird ein einzelnes effizientes neuronales Netzwerk verwendet, um emotionale Merkmale in jedem Frame zu extrahieren. Dieses Netzwerk wird zunächst auf Gesichtserkennung vortrainiert und anschließend anhand statischer Bilder aus dem AffectNet-Datensatz für die Erkennung von Gesichtsausdrücken mittels einer speziell entwickelten robusten Optimierungstechnik feinabgestimmt. Gezeigt wird, dass die resultierenden Gesichtsmerkmale für eine schnelle gleichzeitige Vorhersage der Engagement-Level der Studierenden (von uninteressiert bis hoch engagiert), individueller Emotionen (z. B. glücklich, traurig) sowie gruppenweiser Affekte (positiv, neutral oder negativ) genutzt werden können. Das Modell ermöglicht eine Echtzeit-Videoverarbeitung sogar auf mobilen Geräten jedes einzelnen Studierenden, ohne dass deren Gesichts-Videos an einen entfernten Server oder den PC des Lehrers gesendet werden müssen. Zudem wird die Möglichkeit demonstriert, eine Zusammenfassung einer Lehrveranstaltung zu erstellen, indem kurze Clips verschiedener Emotionen und Engagement-Stufen aller Studierenden gespeichert werden. Die experimentelle Studie an den Datensätzen aus dem EmotiW (Emotion Recognition in the Wild)-Wettbewerb zeigt, dass das vorgeschlagene Netzwerk bestehende Einzelmodelle signifikant übertrifft.