HyperAIHyperAI

Command Palette

Search for a command to run...

Imaginez, raisonnez et écrivez : Narration visuelle à l’aide de connaissances graphiques et de raisonnement relationnel

and Ruifeng Xu Xiang Ao Ying Shen Chengming Li Min Yang Chunpu Xu

Résumé

L’art du récit visuel consiste à créer une courte histoire à partir d’une séquence d’images. Contrairement aux légendes visuelles (visual captions), les récits incluent non seulement des descriptions factuelles, mais aussi des concepts imaginaires qui ne sont pas présents directement dans les images. Dans cet article, nous proposons un nouveau cadre de génération imaginatif-raisonnement-écriture (IRW, Imagine-Reason-Write) pour le récit visuel, inspiré du raisonnement humain lors de la rédaction d’une histoire. Tout d’abord, un module d’imagination est utilisé pour apprendre explicitement une trame narrative imaginaire, améliorant ainsi la cohérence et la plausibilité de l’histoire générée. Ensuite, un module de raisonnement exploite pleinement les connaissances externes (base de connaissances du bon sens) et les connaissances spécifiques à la tâche (graphes scéniques et graphes d’événements) à l’aide d’une méthode de raisonnement relationnel fondée sur la trame narrative. Ainsi, nous pouvons efficacement capturer les relations les plus informatives entre objets dans les images, tant au niveau du bon sens que du contenu visuel, ce qui enrichit à la fois la diversité et l’information contenue dans l’histoire générée. Enfin, nous intégrons les concepts imaginaires et les connaissances relationnelles afin de produire une histoire humaine, fidèle aux significations initiales des images. Des expériences étendues sur un jeu de données standard (VIST) démontrent que le cadre IRW proposé surpasser de manière significative les méthodes de pointe sur plusieurs métriques d’évaluation.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Imaginez, raisonnez et écrivez : Narration visuelle à l’aide de connaissances graphiques et de raisonnement relationnel | Articles | HyperAI