Apprentissage des représentations émotionnelles à partir de la communication verbale et non verbale

La compréhension des émotions est une composante essentielle mais extrêmement complexe de l'intelligence artificielle générale. L'absence de jeux de données largement annotés a considérablement freiné les progrès dans ce domaine. Nous présentons EmotionCLIP, le premier paradigme d'apprentissage préalable visant à extraire des représentations émotionnelles visuelles à partir de la communication verbale et non verbale en utilisant uniquement des données non curatées. Comparativement aux étiquettes numériques ou aux descriptions utilisées dans les méthodes précédentes, la communication contient naturellement des informations émotionnelles. De plus, l'acquisition de représentations émotionnelles à partir de la communication est plus conforme au processus d'apprentissage humain. Nous guidons EmotionCLIP pour qu'il prête attention aux indices émotionnels non verbaux grâce à une encodage contextuel sensible au sujet et aux indices émotionnels verbaux en utilisant un apprentissage contrastif guidé par l'analyse de sentiments. Des expériences approfondies valident l'efficacité et la transférabilité d'EmotionCLIP. En utilisant simplement un protocole d'évaluation par sonde linéaire, EmotionCLIP surpasse les méthodes actuelles supervisées de reconnaissance visuelle des émotions et rivalise avec de nombreuses approches multimodales sur diverses基准 (benchmarks). Nous anticipons que l'avènement d'EmotionCLIP permettra de résoudre le problème récurrent de la pénurie de données en matière de compréhension des émotions, favorisant ainsi les progrès dans les domaines connexes. Le code source et les modèles pré-entraînés sont disponibles sur https://github.com/Xeaver/EmotionCLIP.Note: I have kept "benchmark" in English within the French text as it is commonly used in its English form in scientific and technical contexts in French. If you prefer a fully French translation, please let me know.