Analyse multimodale des traits de personnalité à partir de vidéos de présentation de soi et de comportements induits
L’analyse de la personnalité constitue un domaine de recherche important dans plusieurs domaines, notamment la psychologie, la psychiatrie et la neurosciences. Grâce aux progrès récents et spectaculaires de l’apprentissage automatique, elle est devenue également un sujet d’intérêt croissant en informatique. Bien que les méthodes computationnelles actuelles soient capables d’interpréter des indices comportementaux (par exemple, expressions faciales, gestes, voix) afin d’estimer le niveau de traits de personnalité (apparents), les outils d’évaluation disponibles restent encore insuffisants pour une utilisation pratique, sans parler de la nécessité de méthodes rapides et précises pour ces analyses. Dans cette étude, nous proposons des architectures profondes multimodales pour estimer les cinq grands traits de personnalité à partir de signaux audio-vidéo (temporels) et de transcriptions de discours. En outre, afin d’assurer une analyse détaillée des traits de personnalité, nous avons collecté un nouveau jeu de données audio-vidéo, nommé : Self-presentation and Induced Behavior Archive for Personality Analysis (SIAP). Contrairement aux jeux de données existants, SIAP inclut non seulement des vidéos de présentation de soi (discours), mais aussi des enregistrements de comportements induits. À travers des expériences approfondies sur SIAP et le jeu de données ChaLearn LAP First Impressions, nous évaluons de manière systématique la fiabilité de différentes modalités comportementales ainsi que leur utilisation combinée. En outre, nous étudions les caractéristiques et la puissance discriminative du comportement induit dans l’analyse de la personnalité, démontrant ainsi que ce dernier contient effectivement des indices relatifs aux traits de personnalité.