Imaginez, raisonnez et écrivez : Narration visuelle à l’aide de connaissances graphiques et de raisonnement relationnel

L’art du récit visuel consiste à créer une courte histoire à partir d’une séquence d’images. Contrairement aux légendes visuelles (visual captions), les récits incluent non seulement des descriptions factuelles, mais aussi des concepts imaginaires qui ne sont pas présents directement dans les images. Dans cet article, nous proposons un nouveau cadre de génération imaginatif-raisonnement-écriture (IRW, Imagine-Reason-Write) pour le récit visuel, inspiré du raisonnement humain lors de la rédaction d’une histoire. Tout d’abord, un module d’imagination est utilisé pour apprendre explicitement une trame narrative imaginaire, améliorant ainsi la cohérence et la plausibilité de l’histoire générée. Ensuite, un module de raisonnement exploite pleinement les connaissances externes (base de connaissances du bon sens) et les connaissances spécifiques à la tâche (graphes scéniques et graphes d’événements) à l’aide d’une méthode de raisonnement relationnel fondée sur la trame narrative. Ainsi, nous pouvons efficacement capturer les relations les plus informatives entre objets dans les images, tant au niveau du bon sens que du contenu visuel, ce qui enrichit à la fois la diversité et l’information contenue dans l’histoire générée. Enfin, nous intégrons les concepts imaginaires et les connaissances relationnelles afin de produire une histoire humaine, fidèle aux significations initiales des images. Des expériences étendues sur un jeu de données standard (VIST) démontrent que le cadre IRW proposé surpasser de manière significative les méthodes de pointe sur plusieurs métriques d’évaluation.