Arena-GR1-Manipulation-PlaceItemCloseDoor-Task est un ensemble de données multimodales publié par NVIDIA en 2025, dédié aux tâches d’opération des robots humanoïdes, visant à soutenir l’entraînement et l’évaluation des stratégies robotiques générales.

Cet ensemble de données comprend 100 trajectoires générées dans l’environnement Isaac Lab, couvrant les informations multimodales telles que l’état, la vision, le langage et l’action, adaptées à l’apprentissage par imitation, à l’apprentissage stratégique ainsi qu’à la recherche sur la transfertation du simulation vers la réalité. La taille des données est d’environ 9,44 Go, générée automatiquement par NVIDIA via le cadre MimicGen, avec quelques démonstrations téléopérées manuelles fournies comme référence.

Composition de l'ensemble de données

L’ensemble de données contient principalement les sous-ensembles suivants :

• Démonstrations téléopérées manuellement : 10 démonstrations stockées dans un fichier HDF5 ([OBJECT]_into_fridge_recorded.hdf5).
• Démonstrations annotées manuellement : 10 démonstrations stockées dans un fichier HDF5 ([OBJECT]_into_fridge_annotated.hdf5).
• Démonstrations générées par MimicGen : 100 démonstrations stockées dans un fichier HDF5 ([OBJECT]_into_fridg_generated_100.hdf5).
• Format GR00T-Lerobot : converti depuis les fichiers HDF5 générés par MimicGen, conforme au standard GR00T-Lerobot.

Champs de données

Chaque démonstration se compose d’une séquence indexée temporellement contenant les modalités suivantes :

• Actions : action (FP64), incluant toutes les positions désirées des articulations corporelles (36 degrés de liberté).

• Observations : observation.state (FP64), comprenant toutes les positions des articulations corporelles (54 degrés de liberté).

• Informations spécifiques à la tâche :

• timestamp (FP64) : temps simulé (en secondes).

• annotation.human.action.task_description (INT64) : indice de commande linguistique.

• annotation.human.action.valid (INT64) : indice de validité de l’annotation.

• episode_index (INT64) : indice ordinal de la démonstration.

• task_index (INT64) : indice pour le chargeur multi-tâches (toujours égal à 0).

• Vidéos : vidéos au format MP4 RVB de résolution 512x512 provenant d’un caméra à vue subjective première personne.

• episodes.jsonl : liste complète des épisodes accompagnée de leurs durées respectives.

• tasks.jsonl : liste complète des tâches.

• modality.json : configuration des modalités.

• info.json : informations relatives à l’ensemble de données.

• stats.json : statistiques globales de l’ensemble de données.

• relative_stats.json : statistiques relatives.

Référence bibliographique

@inproceedings{mandlekar2023mimicgen,
    title={MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations},
    author={Mandlekar, Ajay and Nasiriany, Soroush and Wen, Bowen and Akinola, Iretiayo and Narang, Yashraj and Fan, Linxi and Zhu, Yuke and Fox, Dieter},
    booktitle={7th Annual Conference on Robot Learning},
    year={2023}
    }