HyperAIHyperAI
il y a 18 jours

Cr-net : Un réseau de classification-régression profond pour l’analyse multimodale de la personnalité apparente

{Guodong Guo, Xiangda Qi, Huizhou Chen, Huijuan Fang, Sergio Escalera, Qiguang Miao, Jun Wan, Yunan Li}
Résumé

Les premières impressions exercent une forte influence sur les interactions sociales, avec un impact significatif dans la vie personnelle comme professionnelle. Dans cet article, nous présentons un réseau profond de classification-régression (CR-Net) destiné à l’analyse du problème des cinq grands traits de personnalité, et à l’assistance dans la recommandation d’entretiens d'embauche dans un cadre de premières impressions. Ce cadre repose sur le jeu de données ChaLearn First Impressions, comprenant des données multimodales issues de vidéos, d’audio et de texte extraites des enregistrements audio, où chaque individu s’exprime devant une caméra. Afin d’obtenir une prédiction complète, nous analysons les vidéos à la fois à partir de la scène entière (incluant les mouvements de la personne et le fond) et à partir du visage de la personne. Notre réseau CR-Net effectue d’abord une classification des traits de personnalité, suivie d’une régression, permettant ainsi d’obtenir des prédictions précises tant pour les traits de personnalité que pour la recommandation d’entretiens. En outre, nous proposons une nouvelle fonction de perte, appelée Bell Loss, afin de corriger les prédictions erronées dues au phénomène de régression vers la moyenne. Des expérimentations étendues sur le jeu de données First Impressions démontrent l’efficacité de notre réseau proposé, qui surpassent les méthodes de pointe actuelles.