Sélection de concepts consciente des connaissances courantes pour une narration visuelle diversifiée et informative

L’art du récit visuel consiste à générer des histoires pertinentes et intéressantes à partir de séquences d’images données. Dans ce travail, nous visons à augmenter la diversité des récits générés tout en préservant le contenu informatif extrait des images. Pour favoriser à la fois la diversité et l’information du récit généré, nous proposons d’utiliser un module de sélection de concepts qui suggère un ensemble de candidats de concepts. Ensuite, nous exploitons un modèle pré-entraîné à grande échelle afin de transformer ces concepts et les images en récits complets. Pour enrichir l’ensemble des concepts candidats, nous construisons pour chaque séquence d’images un graphe de connaissances courantes à partir duquel les candidats de concepts sont proposés. Afin d’extraire des concepts adaptés à partir de ce graphe, nous introduisons deux nouveaux modules prenant en compte à la fois la corrélation entre les concepts candidats et la corrélation entre les images et les concepts. Les résultats d’évaluation automatisée et humaine abondants démontrent que notre modèle parvient à produire des concepts raisonnables. Cela permet à notre modèle de surpasser de manière significative les modèles précédents en termes de diversité et d’information du récit, tout en maintenant une forte pertinence par rapport à la séquence d’images.