MULTI-Benchmark: Eine Bestenliste Für Multimodales Verständnis Mit Text Und Bildern

Bei diesem Datensatz handelt es sich um den multimodalen Benchmark MULTI der Shanghai Jiao Tong University, der die Fähigkeit großer multimodaler Modelle zum Verstehen komplexer Tabellen und Bilder sowie zum Schlussfolgern langer Texte bewerten soll. Der Test bietet multimodale Eingaben und erfordert entweder präzise oder offene Antworten, die einen realen Prüfungsstil widerspiegeln. MULTI enthält mehr als 18.000 Fragen und deckt eine Vielzahl von Aufgaben ab, von der Formelherleitung bis hin zur Bildanalyse und zum kreuzmodalen Denken.

Das Forschungsteam erstellte außerdem MULTI-Elite, eine sorgfältig ausgewählte Teilmenge schwieriger Fragen mit 500 Problemen, und MULTI-Extend, einen Datensatz mit mehr als 4.500 externen Wissenskontexten. MULTI dient nicht nur als robuste Evaluierungsplattform, sondern weist auch den Weg für die Entwicklung von KI auf Expertenniveau.