数据集汇总丨从操作轨迹到3D场景，8个机器人数据集覆盖具身智能关键任务

机器人数据正在成为具身智能竞争的关键变量。 当模型架构逐渐趋同，数据的来源、规模与格式，开始决定机器人在操作、抓取、移动等任务上的真实表现。不同于传统视觉与文本数据，机器人数据更强调「过程」——轨迹、动作、观测与任务指令的完整对齐，直接决定模型能否在真实环境中稳定执行。

从近期上线的数据来看，机器人数据的生产方式正在分成两条清晰路线：一条是真实采集， 依靠人类遥操作与光学动捕积累高质量轨迹；另一条是仿真合成， 依靠 Isaac Sim、dm_control 等仿真器批量生成抓取与移动样本。两条路线各管一段，而 LeRobot、GR00T 与 OpenUSD 等格式，正在让它们互相咬合。

本文整理的 8 个数据集，覆盖了当前机器人数据研究的几个核心方向： 真实操作演示、视频评测基准、动作捕捉、人形机器人视频，以及仿真抓取、移动性与 3D 场景资产，分别来自 NVIDIA、微软研究院、光学动捕厂商 ChingMu 与 Macrodata Labs。

以下数据集已在 HyperAI 上线，助力研究人员与开发者快速探索训练、评测与应用。

更多优质数据集： https://hyper.ai/datasets

1. PhysicalAI-Robotics 机器人厨房操作演示数据集

在线运行： https://go.hyper.ai/EAIP6

PhysicalAI-Robotics-Manipulation-Kitchen-Demos 是由 NVIDIA 于 2026 年发布的大规模机器人操作演示数据集，包含约 600 小时的人类遥操作演示，覆盖 316 种不同任务、总计约 5.5 万条轨迹，数据由配备 Omron 移动底座的 Franka Panda 机器人采集，旨在为机器人学习与具身智能研究提供真实场景操作数据。

该数据集遵循 LeRobot 标准，低维轨迹以 parquet 存储，视频包含左第三方、右第三方与眼在手三个视角；meta 目录下提供 info.json、tasks.jsonl、episodes.jsonl、stats.json、modality.json 与 embodiment.json，extras 中还附带 MuJoCo 环境参数、MJCF 模型与原始状态文件，可用于回放。

2. WGO-Bench 机器人视频评测基准数据集

在线运行：https://go.hyper.ai/o3Fze

WGO-Bench 是由 Macrodata Labs 发布的机器人视频基准数据集，旨在评估视觉语言模型将机器人及第一人称操作视频转换为带时间戳子任务标注的能力，主要面向边界检测与子任务标注两项任务。

该数据集共包含 100 个视频片段，涵盖 743 个黄金子任务片段与 63 种独立任务指令，数据来源包括 HomER 第一人称视频、RoboInter DROID 机械臂视频与 RoboCOIN Galaxea R1 Lite 头戴摄像头视频三类。数据以 Parquet 存储，MP4 视频字节直接嵌入每行，字段包含 id、video、instruction 与 segments。

3 MotionDecode 机器人动作捕捉数据集

在线运行：https://go.hyper.ai/CVoFS

MotionDecode 是由 ChingMu 发布的光学机器人动作捕捉数据集，专注具身智能与人形机器人的高精度动作捕捉，包含超过 1,000 小时的机器人运动轨迹，覆盖工业、家庭、零售、医疗、物流、农业及表演等 15 种以上真实场景，涉及 200 多个可追踪对象与 500 余项标准化任务。

数据涵盖原始运动数据（BVH，120 帧/秒、4767 个骨骼关节）、机器人重定向轨迹（CSV）、物体 6D 位姿（CSV，120 Hz）、48 台同步相机的多视角视频，以及 JSONL 语义标签，所有数据经过自动化清洗与人工质检。

4 GR1-100 人形机器人操作视频数据集

在线运行：https://go.hyper.ai/zEMXF

GR1-100 是由 NVIDIA 于 2025 年发布的人形机器人操作视频数据集，包含 92 个视频片段，记录 Fourier GR1-T2 人形机器人在实验室环境中执行各类操作任务的第三人称视角画面，总大小约 142.3 MB，相关论文成果为「DreamGen: Unlocking Generalization in Robot Learning through Video World Models」，适用于计算机视觉与机器人学习领域。

5 GraspGen 大规模仿真抓取数据集

在线运行：https://go.hyper.ai/AhNid

GraspGen 是由 NVIDIA 于 2025 年发布的大规模仿真抓取数据集，包含超过 5,700 万次抓取数据，基于 Objaverse XL（LVIS）中的 8,515 个物体生成，针对 Franka Panda、Robotiq-2f-140 工业夹爪与 30 mm 半径单点接触吸盘三种末端执行器设计，旨在提升抓取技能从仿真到现实的迁移能力。

数据采用 WebDataset 格式，按 franka、robotiq2f140、suction 三个目录组织，分别对应三种夹爪构型。

6 X-Mobility 机器人移动性仿真数据集

在线运行：https://go.hyper.ai/2Omzo

X-Mobility 是由 NVIDIA 于 2024 年发布的一个用于机器人移动性训练的数据集，旨在通过模拟数据训练世界模型和动作网络。

该数据集专为 X-Mobility 项目提供训练、验证和测试数据，包含基于 Isaac Sim 仿真器生成的策略数据集。 数据集涵盖教师策略数据集和随机动作数据集，支持世界模型的预训练以及世界模型与动作网络的联合训练，为机器人移动性研究提供高质量的仿真数据支持。

7 NVIDIA PhysicalAI SimReady Warehouse OpenUSD 机器人仿真场景数据集

在线运行：https://go.hyper.ai/LdadM

NVIDIA Physical AI SimReady Warehouse OpenUSD Dataset 是由 NVIDIA 于 2025 年发布的一个面向机器人仿真与物理 AI 研究的高精度 3D 数据集，旨在为 IsaacSim 等仿真平台提供逼真的工业仓库场景及可交互物体。

该数据集包含 753 个兼容 NVIDIA IsaacSim 应用的 OpenUSD 3D 资产，压缩包大小约为 15 GB，涵盖仓库环境、可抓取物体及各类组件。 数据提供了丰富的语义标签（如WikiData Q-Code）、物理属性（如质量）及分类信息，支持图像分割、目标检测、深度估计等任务，适用于机器人抓取、导航及场景重建等研究。

8 MoCapAct 人形机器人运动控制数据集

在线运行：https://go.hyper.ai/UsXf9

MoCapAct 是由 Microsoft Research 于 2024 年发布的用于仿真类人机器人运动控制的数据集，旨在为类人机器人运动控制研究提供预训练专家策略及其演示数据，降低从动作捕捉数据训练底层控制策略的计算成本。

该数据集包含能够在 dm_control 物理仿真环境中跟踪超过 3 小时动作捕捉数据的预训练专家智能体，以及由这些专家智能体生成的回放数据。回放数据包含本体感觉观测（proprioceptive observations）和动作（actions），涵盖站立、行走、跑步等类人运动技能，可用于模仿学习、强化学习以及高层运动行为学习等任务。