Arena-GR1-Manipulation-PlaceItemCloseDoor-Task は、NVIDIA が2025年に公開した人間型ロボットの操作タスク向けのマルチモーダルデータセットで、汎用ロボットポリシーのトレーニングと評価をサポートすることを目的としています。

このデータセットには、Isaac Lab環境で生成された100本の軌跡データが含まれており、状態、視覚、言語、行動などのマルチモーダル情報を網羅しています。これは動作クローニング、ポリシー学習、およびシミュレーションから現実への移行に関する研究に適しています。 データサイズは約9.44 GBで、MimicGenフレームワークに基づいてNVIDIAによって自動的に生成され、参照用の人手による遠隔操作デモが少数含まれています。

データセット構成

本データセットは主に以下のサブセットを含みます：

• 人手による遠隔操作デモ：HDF5ファイルに保存された10本のデモ ([OBJECT]_into_fridge_recorded.hdf5)。
• 人手注釈付きデモ：HDF5ファイルに保存された10本のデモ ([OBJECT]_into_fridge_annotated.hdf5)。
• MimicGen生成デモ：HDF5ファイルに保存された100本のデモ ([OBJECT]_into_fridg_generated_100.hdf5)。
• GR00T-Lerobot形式：MimicGenによって生成されたHDF5ファイルを変換し、GR00T-Lerobot基準に従ったもの。

データフィールド

各デモはタイムスタンプインデックス付きのシーケンスで構成されており、以下のモードを含む：

• アクション (Actions): action (FP64)、全ボディジョイントの目標位置（36自由度）を含む。

• オブザーベーション (Observations): observation.state (FP64)、全ボディジョイントの現在位置（54自由度）を含む。

• タスク固有情報 (Task-specific):

  • timestamp (FP64): シミュレーション時間（秒単位）。
  • annotation.human.action.task_description (INT64): 言語指示のインデックス。
  • annotation.human.action.valid (INT64): 注釈の有効性インデックス。
  • episode_index (INT64): エピソード順序インデックス。
  • task_index (INT64): マルチタスクデータローダーのインデックス（常に0）。

• ビデオ (Videos): ファーストパーソンビューカメラからのRGB MP4形式ビデオ、解像度は512x512。

• episodes.jsonl: すべてのエピソードリストとそのタスク長を含む。

• tasks.jsonl: すべてのタスクリストを含む。

• modality.json: モーダリティ設定。

• info.json: データセットの情報。

• stats.json: データセット統計情報。

• relative_stats.json: 相対統計情報。

引用

@inproceedings{mandlekar2023mimicgen,
    title={MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations},
    author={Mandlekar, Ajay and Nasiriany, Soroush and Wen, Bowen and Akinola, Iretiayo and Narang, Yashraj and Fan, Linxi and Zhu, Yuke and Fox, Dieter},
    booktitle={7th Annual Conference on Robot Learning},
    year={2023}
    }