PhysicalAI-Robotics-Manipulation-Kitchen-Demos est un ensemble de données de démonstrations à grande échelle pour la manipulation robotique, publié par NVIDIA en 2026. Il comprend environ 600 heures de démonstrations humaines par téléopération, couvrant 316 tâches différentes, pour un total d'environ 55 000 trajectoires. Le jeu de données a été collecté à l'aide de robots Franka Panda équipés de bases mobiles Omron. Il vise à fournir des données de manipulation en contexte réel de haute qualité pour la recherche en apprentissage robotique et en intelligence incarnée, en soutenant l'apprentissage et l'entraînement depuis les opérations de base jusqu'aux tâches complexes en plusieurs étapes.

Composition du jeu de données

La structure du jeu de données suit la norme LeRobot et comprend principalement les éléments suivants :

Principaux fichiers de données (meta/data/videos) :

• info.json : Informations sur le jeu de données, y compris le type de robot, le nombre d'épisodes, le nombre de frames, le taux de frames et les caractéristiques.
• tasks.jsonl : Instructions en langage naturel avec index de tâche.
• episodes.jsonl : Métadonnées par épisode, y compris l'index, l'instruction et la longueur.
• episodes_stats.jsonl : Statistiques par épisode concernant les actions et la proprioception.
• stats.json : Statistiques agrégées pour tous les épisodes.
• modality.json : Informations contenues dans les vecteurs d'observation et d'action.
• embodiment.json : Informations sur l'incarnation (embodiment).

Données de trajectoire (data) :

• Contient des données de trajectoire en basse dimension, stockées au format parquet.
• Chaque chunk contient plusieurs fichiers d'épisode, enregistrant la proprioception, les actions, les états de complétion et les horodatages.

Données vidéo (videos) :

• Contient des fichiers vidéo MP4 pour chaque vue de caméra.
• Comprend trois points de vue : caméra tierce partie gauche, caméra tierce partie droite et caméra eye-in-hand.

Données supplémentaires (extras) :

• Métadonnées spécifiques à MuJoCo, y compris les paramètres de l'environnement et la configuration du contrôleur.
• Métadonnées supplémentaires par épisode, y compris la disposition de la cuisine, le style, les installations fixes et les informations sur les objets.
• Fichiers XML de modèles MJCF MuJoCo compressés et fichiers d'état MuJoCo bruts (utilisés pour la relecture, non pour l'entraînement).