PhysicalAI-Robotics-Manipulation-Kitchen-Demos는 NVIDIA가 2026년에 공개한 대규모 로봇 조작 시연 데이터셋으로, 약 600시간의 인간 원격 조작 시연과 316가지의 다양한 작업을 포함하며 총 약 5만 5천 개의 궤적으로 구성되어 있습니다. 이 데이터셋은 Omron 이동형 베이스가 장착된 Franka Panda 로봇을 사용하여 수집되었으며, 로봇 학습 및 구현 지능(Embodied AI) 연구를 위해 고품질의 실제 환경 조작 데이터를 제공하고, 기본 조작부터 복잡한 다단계 작업까지의 학습 및 훈련을 지원하도록 설계되었습니다.

데이터셋 구성

이 데이터셋은 LeRobot 표준을 따르며, 다음과 같은 주요 부분으로 구성됩니다:

주요 데이터 파일 (meta/data/videos):

• info.json: 로봇 유형, 에피소드 수, 프레임 수, 프레임 속도 및 특징을 포함하는 데이터셋 정보입니다.
• tasks.jsonl: 작업 인덱스를 포함하는 언어 지시문입니다.
• episodes.jsonl: 인덱스, 지시문 및 길이를 포함하는 각 에피소드의 메타데이터입니다.
• episodes_stats.jsonl: 각 에피소드의 동작 및 proprioception(자세 인식) 통계 데이터입니다.
• stats.json: 모든 에피소드의 집계 통계 데이터입니다.
• modality.json: 관측 벡터와 동작 벡터에 포함된 정보를 설명합니다.
• embodiment.json: 에보디먼트(Embodiment) 정보를 포함합니다.

궤적 데이터 (data):

• Parquet 파일 형식으로 저장된 저차원 궤적 데이터를 포함합니다. - 각 청크(chunk)에는 proprioception, 동작, 완료 상태 및 타임스탬프를 기록하는 여러 개의 에피소드 파일이 포함됩니다.

비디오 데이터 (videos):

• 각 카메라 뷰에 해당하는 MP4 비디오 파일을 포함합니다. - 좌측 서드파티 카메라, 우측 서드파티 카메라, 그리고 손 위에 장착된 카메라(Eye-in-hand)의 세 가지 관점을 포함합니다.

추가 데이터 (extras):

• 환경 매개변수 및 컨트롤러 구성을 포함하는 MuJoCo 전용 메타데이터입니다.
• 주방 레이아웃, 스타일, 고정 장치 및 객체 정보를 포함하는 각 에피소드의 추가 메타데이터입니다.
• 압축된 MJCF MuJoCo 모델 XML 파일과 원시 MuJoCo 상태 파일(재생용이며 훈련에는 사용되지 않음)을 포함합니다.