Le World Model Bench (WM Bench) est le premier banc d'essai mondial permettant d'évaluer les capacités cognitives des modèles du monde et des systèmes d'IA incarnée. Il vise à dépasser les évaluations traditionnelles de la qualité d'image et vidéo et à se concentrer sur les capacités cognitives des modèles. Cet ensemble de données est conçu pour évaluer les capacités d'un modèle du monde, selon trois dimensions fondamentales : la perception, la cognition et l'incarnation. Il est subdivisé en 10 types de tâches, dont la compréhension de l'environnement, la reconnaissance et la classification d'entités, et le raisonnement prédictif. Il comprend également 100 scénarios variés, conçus pour évaluer systématiquement les capacités cognitives et décisionnelles du modèle dans des environnements complexes.

Champs de données :

• id : Identifiant unique de l’échantillon
• cat: Étiquette de catégorie de tâche
• scene_context : Entrée de contexte de scène
• PRÉDICT : Résultat prédictif indiquant les dangers et les consignes de sécurité.
• MOUVEMENT : Résultat de l'action, décrivant l'émotion qui s'en dégage.