SciCap : Génération de légendes pour les figures scientifiques

Les chercheurs utilisent des figures pour transmettre des informations riches et complexes dans les articles scientifiques. Les légendes associées à ces figures jouent un rôle fondamental dans la communication efficace des messages. Toutefois, des légendes de faible qualité apparaissent fréquemment dans les publications scientifiques, ce qui peut nuire à la compréhension. Dans ce travail, nous proposons un cadre neuronal end-to-end pour générer automatiquement des légendes informatives et de haute qualité pour les figures scientifiques. À cette fin, nous introduisons SCICAP, un grand ensemble de données figure-légende basé sur des articles arXiv en informatique publiés entre 2010 et 2020. Après un prétraitement comprenant la classification du type de figure, l’identification des sous-figures, la normalisation du texte et la sélection des légendes, SCICAP contient plus de deux millions de figures extraites de plus de 290 000 articles. Nous avons ensuite établi des modèles de référence pour la génération de légendes destinées aux graphiques, le type de figure dominant (représentant 19,2 % des figures). Les résultats expérimentaux mettent en évidence à la fois les opportunités et les défis considérables liés à la génération de légendes pour les figures scientifiques.