PhysicalAI-Robotics-Manipulation-Kitchen-Demos は、NVIDIA が 2026 年に公開した大規模なロボット操作デモデータセットです。約 600 時間にわたる人間の遠隔操作デモを含み、316 種類の異なるタスクをカバーし、合計約 55,000 件の軌道を収録しています。本データセットは、Omron 移動ベースを搭載した Franka Panda ロボットを用いて収集され、ロボティクス学習およびエンボディドインテリジェンス研究向けに、高品質な実環境での操作データを提供することを目的としています。基本操作から複雑なマルチステップタスクに至るまでの学習と訓練をサポートします。

データセットの構成

本データセットは LeRobot 標準に準拠した構造を有し、主に以下の部分で構成されています。

主要データファイル (meta/data/videos)：

• info.json：データセットの情報。ロボットのタイプ、エピソード数、フレーム数、フレームレート、特徴量を含みます。
• tasks.jsonl：タスクインデックスを含む言語指示。
• episodes.jsonl：各エピソードのメタデータ。インデックス、指示、長さを記録します。
• episodes_stats.jsonl：各エピソードにおける動作およびプロプリオセプション（自己感知）の統計データ。
• stats.json：全エピソードの集計統計データ。
• modality.json：観測ベクトルおよび動作ベクトルに含まれる情報。
• embodiment.json：エンボディメント（身体性）に関する情報。

軌道データ (data)：

• 低次元の軌道データを含み、parquet ファイル形式で保存されています。
• 各チャンクには複数のエピソードファイルが含まれ、プロプリオセプション、動作、完了状態、タイムスタンプを記録します。

動画データ (videos)：

• 各カメラビューの MP4 動画ファイルを含みます。
• 左側サードパーソンカメラ、右側サードパーソンカメラ、ハンドアイカメラの 3 つの視点を提供します。

追加データ (extras)：

• MuJoCo 固有のメタデータ。環境パラメータおよびコントローラ設定を含みます。
• 各エピソードの追加メタデータ。キッチンレイアウト、スタイル、備品、オブジェクト情報を含みます。
• 圧縮された MJCF MuJoCo モデル XML ファイルおよび元の MuJoCo 状態ファイル（再生用であり、訓練用ではありません）。