Cet ensemble de données est le benchmark multimodal MULTI publié par l'Université Jiao Tong de Shanghai, qui vise à évaluer la capacité des grands modèles multimodaux à comprendre des tableaux et des images complexes et à effectuer un raisonnement sur des textes longs. Le test fournit des données multimodales et exige que les réponses soient précises ou ouvertes, reflétant un style d'examen réel. MULTI contient plus de 18 000 questions, couvrant une variété de tâches allant de la dérivation de formules à l'analyse d'images et au raisonnement intermodal. L'équipe de recherche a également créé MULTI-Elite, un sous-ensemble soigneusement sélectionné de questions difficiles contenant 500 problèmes, et MULTI-Extend, un ensemble de données de plus de 4 500 contextes de connaissances externes. MULTI sert non seulement de plate-forme d’évaluation robuste, mais ouvre également la voie au développement d’une IA de niveau expert.

Citation

@article{zhu2025multi, titre={{MULTI}: Classement multimodal de compréhension avec texte et images}, author={Zichen Zhu et Yang Xu et Lu Chen et Jingkai Yang et Yichuan Ma et Yiming Sun et Hailin Wen et Jiaqi Liu et Jinyu Cai et Yingzi Ma et Situo Zhang et Zihan Zhao et Liangtai Sun et Kai Yu}, journal = « SCIENCE CHINA Sciences de l'information », année = « 2025 », volume = « 68 », nombre = « 10 », pages = « 200107.1–200107.26 », doi = « https://doi.org/10.1007/s11432-024-4602-x » }