Die World Model Bench (WM Bench) ist der weltweit erste Benchmark zur Bewertung der kognitiven Fähigkeiten von Weltmodellen und verkörperten KI-Systemen. Sie geht über traditionelle Bild- und Videoqualitätsbewertungen hinaus und konzentriert sich auf die kognitiven Fähigkeiten von Modellen. Dieser Datensatz basiert auf der Bewertung der Fähigkeiten von Weltmodellen und umfasst drei Kerndimensionen: Wahrnehmung, Kognition und Verkörperung. Er ist in zehn Aufgabentypen unterteilt, darunter Umgebungsverständnis, Entitätserkennung und -klassifizierung sowie vorhersagebasiertes Schließen. Zudem enthält er 100 verschiedene Szenarien, die entwickelt wurden, um die kognitiven Fähigkeiten und die Entscheidungsfindungskompetenz des Modells in komplexen Umgebungen systematisch zu evaluieren.

Datenfelder:

• ID: Eindeutige Kennung der Probe
• Kategorie: Aufgabenkategoriebezeichnung
• Szenenkontext: Eingabe des Szenenkontexts
• VORHERSAGE: Vorhersageausgabe, die Gefahren und Sicherheitshinweise anzeigt.
• BEWEGUNG: Handlungsausdruck, der die mit der Handlung verbundene Emotion beschreibt.