Multimodal ArXiv a été lancé par l'Université de Hong Kong et l'Université de Pékin en 2024. Le document pertinent est «ArXiv multimodal : un ensemble de données pour améliorer la compréhension scientifique des grands modèles vision-langage", qui a été accepté par l'ACL 2024.

Cet ensemble de données se compose d'ArXivCap et d'ArXivQA pour améliorer la compréhension scientifique du LVLM.

ArXivCap est un ensemble de données de légendes de graphiques contenant 6,4 millions d'images et 3,9 millions de légendes provenant de 572 000 articles ArXiv couvrant divers domaines scientifiques.

S'appuyant sur ArXivCap, l'équipe de recherche a présenté ArXivQA, un ensemble de données de questions-réponses généré par GPT-4V basé sur des graphiques scientifiques via des invites. ArXivQA améliore considérablement les capacités de raisonnement mathématique du LVLM open source, obtenant une amélioration de la précision absolue de 10,4% sur un benchmark de raisonnement mathématique multimodal.