RefineCap : Raffinement conscient des concepts pour la génération de légendes d’images

La traduction automatique d’images en textes repose sur la compréhension de la scène image et la modélisation linguistique. Dans cet article, nous proposons un nouveau modèle, appelé RefineCap, qui affine le vocabulaire de sortie du décodeur linguistique à l’aide de sémantiques visuelles guidées par le décodeur, tout en apprenant implicitement la correspondance entre les mots-clés visuels et les images. La méthode proposée, appelée Réfinement des Concepts Visuels, permet au générateur de se concentrer sur les détails sémantiques présents dans l’image, conduisant ainsi à la génération de légendes plus descriptives sur le plan sémantique. Notre modèle obtient des performances supérieures sur le jeu de données MS-COCO par rapport aux modèles précédents basés sur les concepts visuels.