Arena-GR1-Manipulation-PlaceItemCloseDoor-Task는 2025년 NVIDIA가 출시한 인간형 로봇 조작 작업을 위한 다중 모달 데이터셋으로, 범용 로봇 정책의 훈련과 평가를 지원합니다.

이 데이터셋은 Isaac Lab 환경에서 생성된 100개의 궤적 데이터를 포함하며, 상태, 시각, 언어 및 행동 등 다양한 모달리티 정보를 제공합니다. 이는 행동 복제(policy cloning), 정책 학습 및 시뮬레이션에서 현실로의 이전(시뮬레이션 투 리얼) 연구에 적합합니다. 데이터 크기는 약 9.44GB이며, NVIDIA의 MimicGen 프레임워크를 기반으로 자동 생성되었고 참고용으로 소량의 수동 원격 조종 데모도 포함되어 있습니다.

데이터셋 구성

이 데이터셋은 주로 다음 하위 집합을 포함합니다:

• 수동 원격 조종 데모: 10개 데모, HDF5 파일 저장 ([OBJECT]_into_fridge_recorded.hdf5).
• 수동 주석 달린 데모: 10개 데모, HDF5 파일 저장 ([OBJECT]_into_fridge_annotated.hdf5).
• MimicGen 생성 데모: 100개 데모, HDF5 파일 저장 ([OBJECT]_into_fridg_generated_100.hdf5).
• GR00T-Lerobot 형식: MimicGen에서 생성된 HDF5 파일을 변환하여 GR00T-Lerobot 표준을 준수함.

데이터 필드

각 데모는 시간 인덱싱된 시퀀스로 구성되어 있으며, 다음과 같은 모달리티를 포함합니다:

• 동작 (Actions): action (FP64), 모든 신체 관절의 목표 위치 포함 (36자유도).

• 관찰 (Observations): observation.state (FP64), 모든 신체 관절의 현재 위치 포함 (54자유도).

• 작업 특화 정보 (Task-specific):

• timestamp (FP64): 시뮬레이션 시간 (초 단위).

• annotation.human.action.task_description (INT64): 언어 명령어 인덱스.

• annotation.human.action.valid (INT64): 주석 유효성 인덱스.

• episode_index (INT64): 에피소드 순서 인덱스.

• task_index (INT64): 멀티 태스크 데이터 로더 인덱스 (항상 0).

• 비디오 (Videos): 파인샷 카메라로부터 캡처된 512x512 해상도의 RGB MP4 형식 영상.

• episodes.jsonl: 전체 에피소드 목록 및 각 에피소드의 길이 포함.

• tasks.jsonl: 전체 작업 목록 포함.

• modality.json: 모달리티 설정.

• info.json: 데이터셋 정보.

• stats.json: 데이터셋 통계량.

• relative_stats.json: 상대 통계량.

인용문헌

@inproceedings{mandlekar2023mimicgen,
    title={MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations},
    author={Mandlekar, Ajay and Nasiriany, Soroush and Wen, Bowen and Akinola, Iretiayo and Narang, Yashraj and Fan, Linxi and Zhu, Yuke and Fox, Dieter},
    booktitle={7th Annual Conference on Robot Learning},
    year={2023}
    }