HyperAIHyperAI

Command Palette

Search for a command to run...

Klassifizierung von Emotionen und Engagement im Online-Lernen basierend auf einem einzigen neuronalen Netzwerk zur Gesichtsausdruckserkennung

Makarov I Savchenko L.V. Savchenko A.V.

Zusammenfassung

In diesem Artikel wird das Verhalten von Studierenden in einer E-Learning-Umgebung analysiert. Es wird ein neuartiger Datenfluss vorgeschlagen, der auf der Video-Face-Verarbeitung basiert. Zunächst werden Techniken zur Gesichtserkennung, -verfolgung und -clustering eingesetzt, um Gesichtssequenzen jedes einzelnen Studierenden zu extrahieren. Anschließend wird ein einzelnes effizientes neuronales Netzwerk verwendet, um emotionale Merkmale in jedem Frame zu extrahieren. Dieses Netzwerk wird zunächst auf Gesichtserkennung vortrainiert und anschließend anhand statischer Bilder aus dem AffectNet-Datensatz für die Erkennung von Gesichtsausdrücken mittels einer speziell entwickelten robusten Optimierungstechnik feinabgestimmt. Gezeigt wird, dass die resultierenden Gesichtsmerkmale für eine schnelle gleichzeitige Vorhersage der Engagement-Level der Studierenden (von uninteressiert bis hoch engagiert), individueller Emotionen (z. B. glücklich, traurig) sowie gruppenweiser Affekte (positiv, neutral oder negativ) genutzt werden können. Das Modell ermöglicht eine Echtzeit-Videoverarbeitung sogar auf mobilen Geräten jedes einzelnen Studierenden, ohne dass deren Gesichts-Videos an einen entfernten Server oder den PC des Lehrers gesendet werden müssen. Zudem wird die Möglichkeit demonstriert, eine Zusammenfassung einer Lehrveranstaltung zu erstellen, indem kurze Clips verschiedener Emotionen und Engagement-Stufen aller Studierenden gespeichert werden. Die experimentelle Studie an den Datensätzen aus dem EmotiW (Emotion Recognition in the Wild)-Wettbewerb zeigt, dass das vorgeschlagene Netzwerk bestehende Einzelmodelle signifikant übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp