Arena-GR1-Manipulation-PlaceItemCloseDoor-Task 是由 NVIDIA 于 2025 年发布的一个面向人形机器人操作任务的多模态数据集，旨在支持通用机器人策略的训练与评估。

该数据集包含 100 条在 Isaac Lab 环境中生成的轨迹数据，涵盖状态、视觉、语言和行动等多模态信息，适用于行为克隆、策略学习及仿真到现实的迁移研究。 数据规模约为 9.44 GB，由 NVIDIA 基于 MimicGen 框架自动生成，并包含少量人工遥操作演示作为参考。

数据集组成

该数据集主要包含以下子集：

• 人工遥操作演示：10 条演示，存储于 HDF5 文件（[OBJECT]_into_fridge_recorded.hdf5）。
• 人工标注演示：10 条演示，存储于 HDF5 文件（[OBJECT]_into_fridge_annotated.hdf5）。
• MimicGen 生成演示：100 条演示，存储于 HDF5 文件（[OBJECT]_into_fridg_generated_100.hdf5）。
• GR00T-Lerobot 格式：从 MimicGen 生成的 HDF5 文件转换而来，符合 GR00T-Lerobot 标准。

数据字段

每个演示由时间索引的序列组成，包含以下模态：

• 动作 (Actions)：action (FP64)，包含所有身体关节的期望位置（36自由度）。

• 观察 (Observations)：observation.state (FP64)，包含所有身体关节的位置（54自由度）。

• 任务特定信息 (Task-specific)：

• timestamp (FP64)：仿真时间（秒）。

• annotation.human.action.task_description (INT64)：语言指令索引。

• annotation.human.action.valid (INT64)：标注有效性索引。

• episode_index (INT64)：演示顺序索引。

• task_index (INT64)：多任务数据加载器索引（始终为 0）。

• 视频 (Videos)：512 x 512 分辨率的 RGB MP4 格式视频，来自第一人称视角相机。

• episodes.jsonl：包含所有剧集列表及任务长度。

• tasks.jsonl：包含所有任务列表。

• modality.json：模态配置。

• info.json：数据集信息。

• stats.json：数据集统计信息。

• relative_stats.json：相对统计信息。

Citation

@inproceedings{mandlekar2023mimicgen,
    title={MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations},
    author={Mandlekar, Ajay and Nasiriany, Soroush and Wen, Bowen and Akinola, Iretiayo and Narang, Yashraj and Fan, Linxi and Zhu, Yuke and Fox, Dieter},
    booktitle={7th Annual Conference on Robot Learning},
    year={2023}
    }