MMMU-Pro

Un benchmark MMMU amélioré qui élimine les raccourcis et les stratégies de devinette afin de tester plus rigoureusement les modèles multimodaux dans 30 disciplines universitaires.

Modèles: 126 actuel, 303 au total
Médiane: 70.8%
Plage: 14.5%–89.2%

Distribution des scores

Le plus bas: 14.5%
Médiane: 70.8%
Le plus élevé: 89.2%

Classement

Inclure les modèles obsolètes

Données de Artificial Analysis