PhysicalAI-Robotics-Manipulation-Kitchen-Demos 是由 NVIDIA 于 2026 年发布的大规模机器人操作演示数据集，包含约 600 小时的人类遥操作演示，涵盖 316 种不同任务，总计约 5.5 万条轨迹。该数据集使用配备 Omron 移动底座的 Franka Panda 机器人采集，旨在为机器人学习与具身智能研究提供高质量的真实场景操作数据，支持从基础操作到复杂多步骤任务的学习与训练。

数据集组成

该数据集结构遵循 LeRobot 标准，主要包含以下部分：

主要数据文件 (meta/data/videos)：

• info.json：数据集信息，包括机器人类型、剧集数、帧数、帧率和特征。
• tasks.jsonl：包含任务索引的语言指令。
• episodes.jsonl：每集元数据，包括索引、指令和长度。
• episodes_stats.jsonl：每集动作和本体感知的统计数据。
• stats.json：所有剧集的聚合统计数据。
• modality.json：观测向量和动作向量中包含的信息。
• embodiment.json：本体信息。

轨迹数据 (data)：

• 包含低维轨迹数据，以 parquet 文件格式存储。- 每个 chunk 包含多个 episode 文件，记录本体感知、动作、完成状态和时间戳。

视频数据 (videos)：

• 包含每个相机视图的 MP4 视频文件。- 包括左第三方相机、右第三方相机和眼在手相机三个视角。

额外数据 (extras)：

• MuJoCo 特定元数据，包括环境参数和控制器配置。
• 每集额外的元数据，包括厨房布局、风格、固定装置和对象信息。
• 压缩的 MJCF MuJoCo 模型 XML 文件和原始 MuJoCo 状态文件（用于重放，不用于训练）。