Die Arena-GR1-Manipulation-PlaceItemCloseDoor-Aufgabe ist ein multimodales Dataset für humanoide Roboter-Betriebstätigkeiten, das von NVIDIA im Jahr 2025 veröffentlicht wurde und darauf abzielt, das Training und die Bewertung allgemeiner Roboterpolicies zu unterstützen.

Das Dataset enthält 100 Trajektorien-Daten, die in der Isaac Lab-Umgebung generiert wurden, sowie multimodale Informationen wie Zustände, visuelle Daten, Sprache und Aktionen. Es eignet sich für Verhaltensklonen, Policy-Lernen und Sim-to-Real-Transferstudien. Die Datengröße beträgt etwa 9,44 GB. Das Dataset wird automatisch mit dem MimicGen-Framework von NVIDIA erstellt und umfasst auch einige manuell durchgeführte Teleoperationen als Referenz.

Zusammensetzung des Datasets

Dieses Dataset besteht hauptsächlich aus den folgenden Teildatensätzen:

• Manuelle Teleoperationsdemonstrationen: 10 Demonstrationen, gespeichert in einer HDF5-Datei ([OBJECT]_into_fridge_recorded.hdf5).
• Manuell annotierte Demonstrationen: 10 Demonstrationen, gespeichert in einer HDF5-Datei ([OBJECT]_into_fridge_annotated.hdf5).
• Von MimicGen generierte Demonstrationen: 100 Demonstrationen, gespeichert in einer HDF5-Datei ([OBJECT]_into_fridg_generated_100.hdf5).
• GR00T-Lerobot Format: Konvertierung aus MimicGen-generierten HDF5-Dateien gemäß dem GR00T-Lerobot Standard.

Datenfelder

Jede Demonstration besteht aus zeitindizierten Sequenzen, welche folgende Modalitäten enthalten:

• Aktionen (Actions): action (FP64), beinhaltet die erwarteten Positionen aller Körpergelenke (36 Freiheitsgrade).

• Beobachtungen (Observations): observation.state (FP64), beinhaltet die tatsächlichen Positionen aller Körpergelenke (54 Freiheitsgrade).

• Aufgabenspezifische Informationen (Task-specific):

  • timestamp (FP64): Simulationszeit (Sekunden).
  • annotation.human.action.task_description (INT64): Sprachbefehlsindex.
  • annotation.human.action.valid (INT64): Gültigkeitsindex der Annotation.
  • episode_index (INT64): Index zur Reihenfolge der Demonstrationen.
  • task_index (INT64): Multi-Aufgaben-Dataloader-Index (immer gleich 0).

• Videos (Videos): RGB-MP4-Videos mit einer Auflösung von 512x512 Pixeln aufgenommen über eine First-Person-Kamera.

• episodes.jsonl: Enthält alle Episodenlisten inklusive Aufgabenlänge.

• tasks.jsonl: Enthält alle Aufgabenlisten.

• modality.json: Modalitätskonfiguration.

• info.json: Informationen zum Datensatz.

• stats.json: Statistiken zum Datensatz.

• relative_stats.json: Relative Statistikdaten.

Zitation

@inproceedings{mandlekar2023mimicgen,
    title={MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations},
    author={Mandlekar, Ajay and Nasiriany, Soroush and Wen, Bowen and Akinola, Iretiayo and Narang, Yashraj and Fan, Linxi and Zhu, Yuke and Fox, Dieter},
    booktitle={7th Annual Conference on Robot Learning},
    year={2023}
    }