HyperAIHyperAI

Command Palette

Search for a command to run...

SentiStory : un modèle génératif à plusieurs couches sensible au sentiment pour la narration visuelle

Jianwei Niu Xuefeng Liu Wei Chen

Résumé

La tâche de narration visuelle (VIST) vise à générer des histoires raisonnables, naturelles et cohérentes à partir de séquences d’images en entrée. Bien que de nombreux modèles d’apprentissage profond aient obtenu des résultats prometteurs, la plupart d’entre eux ne tirent pas directement parti de l’information émotionnelle des histoires. Dans cet article, nous proposons un modèle génératif sensible aux émotions pour la VIST, nommé SentiStory. Le cœur de SentiStory réside dans un module d’extraction multi-niveaux des sentiments (MLSEM). Pour une séquence d’images donnée, le niveau supérieur fournit des sentiments de granularité plus fine mais précis, tandis que le niveau inférieur du MLSEM extrait des sentiments de granularité plus fine mais généralement peu fiables. Ces deux niveaux sont combinés de manière stratégique afin de générer des concepts de sentiment visuel cohérents et riches, adaptés à la tâche de VIST. Les résultats obtenus par évaluation automatique et humaine démontrent que, grâce au MLSEM, SentiStory améliore significativement la génération d’histoires plus cohérentes et plus proches de celles produites par un humain.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp