HyperAIHyperAI

Command Palette

Search for a command to run...

Sélection de concepts consciente des connaissances courantes pour une narration visuelle diversifiée et informative

Hong Chen Yifei Huang Hiroya Takamura Hideki Nakayama

Résumé

L’art du récit visuel consiste à générer des histoires pertinentes et intéressantes à partir de séquences d’images données. Dans ce travail, nous visons à augmenter la diversité des récits générés tout en préservant le contenu informatif extrait des images. Pour favoriser à la fois la diversité et l’information du récit généré, nous proposons d’utiliser un module de sélection de concepts qui suggère un ensemble de candidats de concepts. Ensuite, nous exploitons un modèle pré-entraîné à grande échelle afin de transformer ces concepts et les images en récits complets. Pour enrichir l’ensemble des concepts candidats, nous construisons pour chaque séquence d’images un graphe de connaissances courantes à partir duquel les candidats de concepts sont proposés. Afin d’extraire des concepts adaptés à partir de ce graphe, nous introduisons deux nouveaux modules prenant en compte à la fois la corrélation entre les concepts candidats et la corrélation entre les images et les concepts. Les résultats d’évaluation automatisée et humaine abondants démontrent que notre modèle parvient à produire des concepts raisonnables. Cela permet à notre modèle de surpasser de manière significative les modèles précédents en termes de diversité et d’information du récit, tout en maintenant une forte pertinence par rapport à la séquence d’images.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp