Un système de prédiction de la personnalité multi-modale

La prédiction automatique des traits de personnalité présente de nombreuses applications pratiques, par exemple en criminalistique, dans les systèmes de recommandation ou les services personnalisés. Dans ce travail, nous proposons un cadre de solution pour résoudre le problème de la prédiction des traits de personnalité d’un utilisateur à partir de vidéos. Des caractéristiques ambiantes, faciales et audio sont extraites de la vidéo de l’utilisateur. Ces caractéristiques sont ensuite utilisées pour la prédiction finale. Les modalités visuelle et audio sont combinées selon deux approches différentes : par moyennage des prédictions issues des modalités individuelles, ou par concaténation des caractéristiques dans un cadre multi-modale. Le jeu de données publié dans le cadre de Chalearn-16 est utilisé pour évaluer les performances du système. Les résultats expérimentaux montrent qu’il est possible d’obtenir de meilleures performances en utilisant un petit nombre d’images, plutôt que toutes les images présentes dans la vidéo.