Ensemble De Données De Référence De Lecture Multimodale MRR-Benchmark

Le test de référence de lecture multimodale (MMR) comprend 550 paires de questions-réponses annotées dans 11 tâches différentes couvrant le texte, les polices, les éléments visuels, les cadres de délimitation, les relations spatiales et la vérité fondamentale avec des mesures d'évaluation bien conçues.

Le benchmark a été publié en 2024 par des chercheurs de l'Université d'État de New York à Buffalo et d'Adobe Research.MMR : Évaluation de la capacité de lecture de grands modèles multimodaux".