データセットまとめ丨操作軌跡から3Dシーンまで、具身知能の重要タスクをカバーする8つのロボットデータセット

ロボットデータは、具身知能（Embodied AI）競争における重要な変数になりつつある。 モデルアーキテクチャが収束しつつある中、データのソース、規模、フォーマットが、ロボットの操作、把持、移動などのタスクにおける実際の性能を決定し始めている。従来の視覚データやテキストデータとは異なり、ロボットデータは「プロセス」をより重視する。すなわち、軌跡、動作、観測、タスク指示の完全な整合性が、モデルが実環境で安定して実行できるかどうかを直接決定する。

最近公開されたデータを見ると、ロボットデータの生成方法は大きく2つの明確な路線に分かれている。一つは実機収集であり、 人間の遠隔操作と光学モーションキャプチャにより高品質な軌跡を蓄積する路線である。もう一つはシミュレーション合成であり、 Isaac Simやdm_controlなどのシミュレータを用いて把持・移動サンプルを一括生成する路線である。この2路線はそれぞれ異なる領域をカバーしているが、LeRobot、GR00T、OpenUSDなどのフォーマットが、両者を相互に噛み合わせている。

本記事で整理した8つのデータセットは、現在のロボットデータ研究の主要な方向性を網羅している。 これらは、実機操作デモ、動画評価ベンチマーク、モーションキャプチャ、ヒューマノイドロボット動画、シミュレーション把持、機動性、3Dシーンアセットを含み、それぞれNVIDIA、Microsoft Research、光学モーションキャプチャベンダーのChingMu、Macrodata Labsから提供されている。

以下のデータセットはHyperAI上で公開されており、研究者や開発者が迅速に学習、評価、応用を探索するのに役立つ。

その他の高品質データセット： https://hyper.ai/datasets

1. PhysicalAI-Robotics ロボットキッチン操作デモデータセット

オンライン実行： https://go.hyper.ai/EAIP6

PhysicalAI-Robotics-Manipulation-Kitchen-Demosは、NVIDIAが2026年にリリースした大規模ロボット操作デモデータセットである。約600時間分の人間の遠隔操作デモを含み、316種類の異なるタスクをカバーし、総計約5.5万本の軌跡が含まれる。データはOmron移動ベースを搭載したFranka Pandaロボットによって収集され、ロボット学習と具身知能研究のための実シナリオ操作データを提供することを目的としている。

このデータセットはLeRobot標準に準拠しており、低次元軌跡はparquet形式で保存される。動画には左サードパーソン、右サードパーソン、アイインハンドの3つの視点が含まれる。metaディレクトリにはinfo.json、tasks.jsonl、episodes.jsonl、stats.json、modality.json、embodiment.jsonが提供され、extrasにはMuJoCo環境パラメータ、MJCFモデル、生状態ファイルが付属しており、再生に使用できる。

2. WGO-Bench ロボット動画評価ベンチマークデータセット

オンライン実行：https://go.hyper.ai/o3Fze

WGO-Benchは、Macrodata Labsがリリースしたロボット動画ベンチマークデータセットであり、視覚言語モデルがロボットおよび一人称視点の操作動画をタイムスタンプ付きサブタスクアノテーションに変換する能力を評価することを目的としている。主に境界検出とサブタスクアノテーションの2つのタスクを対象としている。

このデータセットには100個の動画クリップが含まれ、743個のゴールドサブタスククリップと63種類の独立したタスク指示をカバーしている。データソースには、HomER一人称視点動画、RoboInter DROIDアーム動画、RoboCOIN Galaxea R1 Liteヘッドマウントカメラ動画の3種類が含まれる。データはParquet形式で保存され、MP4動画バイトは各行に直接埋め込まれており、フィールドにはid、video、instruction、segmentsが含まれる。

3. MotionDecode ロボットモーションキャプチャデータセット

オンライン実行：https://go.hyper.ai/CVoFS

MotionDecodeは、ChingMuがリリースした光学式ロボットモーションキャプチャデータセットであり、具身知能とヒューマノイドロボットの高精密モーションキャプチャに特化している。1,000時間以上のロボット運動軌跡を含み、工業、家庭、小売、医療、物流、農業、エンターテインメントなど15種類以上の実シナリオをカバーし、200以上の追跡可能なオブジェクトと500以上の標準化されたタスクに関与している。

データには、生運動データ（BVH、120fps、47～67個の骨格関節）、ロボットリダイレクション軌跡（CSV）、物体6Dポーズ（CSV、120Hz）、4～8台の同期カメラによるマルチビュー動画、およびJSONLセマンティックタグが含まれ、すべてのデータは自動クレンジングと人手による品質検査を経ている。

4. GR1-100 ヒューマノイドロボット操作動画データセット

オンライン実行：https://go.hyper.ai/zEMXF

GR1-100は、NVIDIAが2025年にリリースしたヒューマノイドロボット操作動画データセットであり、92個の動画クリップを含み、Fourier GR1-T2ヒューマノイドロボットが実験室環境で各種操作タスクを実行するサードパーソン視点の映像を記録している。総サイズは約142.3 MBであり、関連する論文成果は「DreamGen: Unlocking Generalization in Robot Learning through Video World Models」である。コンピュータビジョンとロボット学習分野に適している。

5. GraspGen 大規模シミュレーション把持データセット

オンライン実行：https://go.hyper.ai/AhNid

GraspGenは、NVIDIAが2025年にリリースした大規模シミュレーション把持データセットであり、5,700万回以上の把持データを含み、Objaverse XL（LVIS）内の8,515個のオブジェクトに基づいて生成されている。Franka Panda、Robotiq-2f-140産業用グリッパー、30mm半径の単点接触吸盤の3種類のエンドエフェクタ向けに設計されており、把持スキルをシミュレーションから現実世界へ転移する能力を向上させることを目的としている。

データはWebDatasetフォーマットを採用し、franka、robotiq2f140、suctionの3つのディレクトリに整理されており、それぞれ3種類のグリッパー構成に対応している。

6. X-Mobility ロボット機動性シミュレーションデータセット

オンライン実行：https://go.hyper.ai/2Omzo

X-Mobilityは、NVIDIAが2024年にリリースした、ロボット機動性学習用のデータセットであり、シミュレーションデータを通じてワールドモデルとアクションネットワークを学習することを目的としている。

このデータセットはX-Mobilityプロジェクト向けに学習、検証、テストデータを提供するために特別に作成されており、Isaac Simシミュレータで生成されたポリシーデータセットを含んでいる。データセットには教師用ポリシーデータセットとランダムアクションデータセットが含まれ、ワールドモデルの事前学習、およびワールドモデルとアクションネットワークの共同学習をサポートし、ロボット機動性研究のための高品質なシミュレーションデータを提供する。

7. NVIDIA PhysicalAI SimReady Warehouse OpenUSD ロボットシミュレーションシーンデータセット

オンライン実行：https://go.hyper.ai/LdadM

NVIDIA Physical AI SimReady Warehouse OpenUSD Datasetは、NVIDIAが2025年にリリースした、ロボットシミュレーションと物理AI研究向けの高精度3Dデータセットであり、IsaacSimなどのシミュレーションプラットフォームにリアルな産業用倉庫シーンとインタラクティブなオブジェクトを提供することを目的としている。

このデータセットには、NVIDIA IsaacSimアプリケーションと互換性のあるOpenUSD 3Dアセット753個が含まれ、圧縮パッケージサイズは約15 GBであり、倉庫環境、把持可能なオブジェクト、各種コンポーネントをカバーしている。データには豊富なセマンティックタグ（WikiData Q-Codeなど）、物理属性（質量など）、分類情報が提供されており、画像セグメンテーション、オブジェクト検出、深度推定などのタスクをサポートし、ロボットの把持、ナビゲーション、シーン再構成などの研究に適している。

8. MoCapAct ヒューマノイドロボット運動制御データセット

オンライン実行：https://go.hyper.ai/UsXf9

MoCapActは、Microsoft Researchが2024年にリリースした、シミュレーション上のヒューマノイドロボット運動制御用データセットであり、ヒューマノイドロボット運動制御研究のために事前学習済み専門家ポリシーとそのデモデータを提供し、モーションキャプチャデータから低レベル制御ポリシーを学習する際の計算コストを低減することを目的としている。

このデータセットには、dm_control物理シミュレーション環境内で3時間以上のモーションキャプチャデータを追跡できる事前学習済み専門家エージェントと、これらの専門家エージェントによって生成されたリプレイデータが含まれている。リプレイデータには固有受容感覚観測（proprioceptive observations）とアクション（actions）が含まれ、立位、歩行、走行などのヒューマノイド運動スキルをカバーしており、模倣学習、強化学習、高レベル運動行動学習などのタスクに使用できる。