Examiner le corps : Analyse automatique des gestes corporels et des auto-adaptateurs dans la détresse psychologique

Le stress psychologique est un problème significatif et en croissance dans la société. La détection automatique, l'évaluation et l'analyse de ce type de stress constituent un domaine de recherche actif. Comparativement aux modalités telles que le visage, la tête et la voix, les recherches explorant l'utilisation de la modalité corporelle pour ces tâches sont relativement rares. Cette situation est en partie due à la limitation des jeux de données disponibles et à la difficulté d'extraire automatiquement des caractéristiques corporelles utiles. Les récentes avancées en estimation de posture et en apprentissage profond ont permis l'élaboration de nouvelles approches pour cette modalité et ce domaine.Pour faciliter ces recherches, nous avons collecté et analysé un nouveau jeu de données contenant des vidéos du corps entier d'entretiens courts ainsi que des étiquettes de stress auto-déclarées. Nous proposons une nouvelle méthode pour détecter automatiquement les comportements d'autostimulation (self-adaptors) et les mouvements nerveux (fidgeting), un sous-ensemble des autostimulations qui a été montré comme étant corrélé au stress psychologique. Nous effectuons une analyse sur les gestes corporels statistiques et les caractéristiques des mouvements nerveux afin d'étudier comment les niveaux de stress influencent les comportements des participants.Nous proposons ensuite une approche multi-modale qui combine différentes représentations de caractéristiques à l'aide d'Auto-Encodeurs Multi-modaux Profonds Débruitants (Multi-modal Deep Denoising Auto-Encoders) et d'une Encodage Améliorée du Vecteur de Fisher (Improved Fisher Vector Encoding). Nous démontrons que notre modèle proposé, combinant des caractéristiques audiovisuelles avec des indices comportementaux nerveux détectés automatiquement, peut prédire avec succès les niveaux de stress dans un jeu de données étiqueté par des niveaux d'anxiété et de dépression auto-déclarés.