Classification des émotions et du niveau d’engagement dans l’apprentissage en ligne à partir d’un seul réseau neuronal de reconnaissance d’expressions faciales

Dans cet article, le comportement des étudiants dans un environnement d’apprentissage en ligne est analysé. Une nouvelle chaîne de traitement (pipeline) est proposée, fondée sur le traitement vidéo des visages. Initialement, des techniques de détection, de suivi et de regroupement (clustering) des visages sont appliquées afin d’extraire les séquences de visages correspondant à chaque étudiant. Ensuite, un unique réseau neuronal efficace est utilisé pour extraire les caractéristiques émotionnelles à partir de chaque trame vidéo. Ce réseau est pré-entraîné sur la reconnaissance faciale, puis affiné (fine-tuned) pour la reconnaissance des expressions faciales à partir d’images statiques provenant de la base de données AffectNet, grâce à une technique d’optimisation robuste spécialement conçue. Il est démontré que les caractéristiques faciales ainsi obtenues permettent une prédiction rapide et simultanée des niveaux d’implication des étudiants (de désengagé à fortement engagé), des émotions individuelles (heureux, triste, etc.) ainsi que de l’affect au niveau du groupe (positif, neutre ou négatif). Ce modèle peut être utilisé pour un traitement vidéo en temps réel, même sur un appareil mobile individuel, sans nécessiter l’envoi des vidéos faciales vers un serveur distant ou un ordinateur de l’enseignant. En outre, la possibilité de générer un résumé d’un cours est illustrée en enregistrant de courtes séquences vidéo représentant différentes émotions et niveaux d’implication de tous les étudiants. Une étude expérimentale menée sur les jeux de données issus du défi EmotiW (Emotion Recognition in the Wild) a montré que le réseau proposé surpasse significativement les modèles existants à base d’un seul réseau.