Transfert de Connaissances Hétérogènes dans la Reconnaissance, l'Attribution et le Résumé des Émotions Vidéo

L'émotion est un élément clé dans les vidéos générées par les utilisateurs. Cependant, il est difficile de comprendre les émotions transmises dans ces vidéos en raison de la nature complexe et non structurée du contenu généré par les utilisateurs, ainsi que de la rareté des images exprimant des émotions. Dans cet article, pour la première fois, nous étudions le problème du transfert de connaissances à partir de sources externes hétérogènes, incluant des données d'images et textuelles, afin de faciliter trois tâches liées à la compréhension de l'émotion dans les vidéos : reconnaissance d'émotion, attribution d'émotion et résumé orienté émotion. Plus précisément, notre cadre (1) apprend une encodage vidéo à partir d'un jeu de données d'images émotionnelles auxiliaires pour améliorer la reconnaissance supervisée de l'émotion dans les vidéos, et (2) transfère des connaissances à partir de corpus textuels auxiliaires pour la reconnaissance zéro-shot des classes d'émotions non observées lors de l'entraînement. La technique proposée pour le transfert de connaissances facilite des applications novatrices en matière d'attribution d'émotion et de résumé orienté émotion. Un ensemble complet d'expériences menées sur plusieurs jeux de données démontre l'efficacité de notre cadre.