Récapitulatif Des Jeux De Données | Des Trajectoires D’action Aux Scènes 3D, Huit Jeux De Données Robotiques Couvrant Les Tâches Clés De L’intelligence Incarnée

Les données robotiques deviennent une variable clé de la concurrence dans l'intelligence incarnée. Alors que les architectures de modèles tendent à converger, la source, le volume et le format des données commencent à déterminer les performances réelles des robots dans des tâches telles que la manipulation, la préhension et la locomotion. Contrairement aux données visuelles et textuelles traditionnelles, les données robotiques mettent davantage l'accent sur le « processus » — l'alignement complet des trajectoires, des actions, des observations et des instructions de tâches, qui détermine directement si un modèle peut exécuter des actions de manière stable dans un environnement réel.

Les données récemment publiées montrent que la production de données robotiques se divise en deux approches distinctes : une approche par collecte réelle, reposant sur la téléopération humaine et la capture de mouvement optique pour accumuler des trajectoires de haute qualité ; une autre approche par synthèse par simulation, reposant sur des simulateurs tels qu'Isaac Sim et dm_control pour générer en masse des échantillons de préhension et de locomotion. Les deux approches couvrent des segments distincts, tandis que des formats tels que LeRobot, GR00T et OpenUSD permettent leur interopérabilité.

Les 8 jeux de données présentés dans cet article couvrent plusieurs directions clés de la recherche sur les données robotiques : démonstrations de manipulation réelle, benchmarks vidéo, capture de mouvement, vidéos de robots humanoïdes, ainsi que la préhension en simulation, la mobilité et les actifs de scènes 3D. Ils proviennent respectivement de NVIDIA, Microsoft Research, du fournisseur de capture de mouvement optique ChingMu et de Macrodata Labs.

Les jeux de données suivants sont disponibles sur HyperAI, aidant les chercheurs et les développeurs à explorer rapidement l'entraînement, l'évaluation et les applications.

Plus de jeux de données de qualité : https://hyper.ai/datasets

1. Jeu de données de démonstration de manipulation en cuisine PhysicalAI-Robotics

Exécution en ligne : https://go.hyper.ai/EAIP6

PhysicalAI-Robotics-Manipulation-Kitchen-Demos est un jeu de données à grande échelle de démonstrations de manipulation robotique publié par NVIDIA en 2026. Il contient environ 600 heures de démonstrations de téléopération humaine, couvrant 316 tâches différentes et totalisant environ 55 000 trajectoires. Les données ont été collectées par un robot Franka Panda équipé d'une base mobile Omron, afin de fournir des données de manipulation en scénarios réels pour la recherche en apprentissage robotique et en intelligence incarnée.

Ce jeu de données suit le standard LeRobot. Les trajectoires à faible dimensionnalité sont stockées au format parquet, et les vidéos incluent trois points de vue : caméra tierce gauche, caméra tierce droite et caméra main-œil. Le répertoire meta fournit les fichiers info.json, tasks.jsonl, episodes.jsonl, stats.json, modality.json et embodiment.json. Le répertoire extras contient également les paramètres de l'environnement MuJoCo, les modèles MJCF et les fichiers d'état bruts, utilisables pour la relecture.

2. Jeu de données de benchmark vidéo robotique WGO-Bench

Exécution en ligne : https://go.hyper.ai/o3Fze

WGO-Bench est un jeu de données de référence vidéo robotique publié par Macrodata Labs, conçu pour évaluer la capacité des modèles de vision et de langage à convertir des vidéos de robots et des vidéos de manipulation en première personne en sous-tâches annotées avec horodatage. Il se concentre principalement sur deux tâches : la détection de limites et l'annotation de sous-tâches.

Ce jeu de données contient au total 100 séquences vidéo, couvrant 743 segments de sous-tâches de référence (gold) et 63 instructions de tâches distinctes. Les sources de données comprennent trois catégories : les vidéos en première personne HomER, les vidéos de bras robotique RoboInter DROID et les vidéos de caméra casque RoboCOIN Galaxea R1 Lite. Les données sont stockées au format Parquet, avec les octets des vidéos MP4 directement intégrés dans chaque ligne. Les champs incluent id, video, instruction et segments.

3. Jeu de données de capture de mouvement robotique MotionDecode

Exécution en ligne : https://go.hyper.ai/CVoFS

MotionDecode est un jeu de données de capture de mouvement robotique optique publié par ChingMu, spécialisé dans la capture de mouvement haute précision pour l'intelligence incarnée et les robots humanoïdes. Il contient plus de 1 000 heures de trajectoires de mouvement robotique, couvrant plus de 15 scénarios réels tels que l'industrie, le domicile, le commerce de détail, la santé, la logistique, l'agriculture et le spectacle, impliquant plus de 200 objets traçables et plus de 500 tâches normalisées.

Les données couvrent les données de mouvement brutes (BVH, 120 images/seconde, 47 à 67 articulations squelettiques), les trajectoires de redirection robotique (CSV), les poses 6D des objets (CSV, 120 Hz), les vidéos multi-angles synchronisées de 4 à 8 caméras, ainsi que les étiquettes sémantiques JSONL. Toutes les données ont été nettoyées automatiquement et soumises à un contrôle qualité manuel.

4. Jeu de données de vidéos de manipulation de robots humanoïdes GR1-100

Exécution en ligne : https://go.hyper.ai/zEMXF

GR1-100 est un jeu de données de vidéos de manipulation de robots humanoïdes publié par NVIDIA en 2025. Il contient 92 séquences vidéo, enregistrant des vues en troisième personne du robot humanoïde Fourier GR1-T2 exécutant diverses tâches de manipulation dans un environnement de laboratoire. La taille totale est d'environ 142,3 Mo. Les résultats de la recherche associée sont présentés dans l'article « DreamGen : Unlocking Generalization in Robot Learning through Video World Models ». Il est destiné aux domaines de la vision par ordinateur et de l'apprentissage robotique.

5. Jeu de données de préhension en simulation à grande échelle GraspGen

Exécution en ligne : https://go.hyper.ai/AhNid

GraspGen est un jeu de données de préhension en simulation à grande échelle publié par NVIDIA en 2025. Il contient plus de 57 millions de données de préhension, générées à partir de 8 515 objets issus de Objaverse XL (LVIS). Il est conçu pour trois types d'effecteurs finaux : le robot Franka Panda, le préhenseur industriel Robotiq-2f-140 et une ventouse à contact ponctuel de 30 mm de rayon. Il vise à améliorer le transfert des compétences de préhension de la simulation à la réalité.

Les données sont au format WebDataset, organisées en trois répertoires : franka, robotiq2f140 et suction, correspondant respectivement aux trois configurations de préhenseurs.

6. Jeu de données de simulation de mobilité robotique X-Mobility

Exécution en ligne : https://go.hyper.ai/2Omzo

X-Mobility est un jeu de données publié par NVIDIA en 2024 pour l'entraînement de la mobilité robotique, visant à entraîner des modèles de monde et des réseaux d'actions via des données simulées.

Ce jeu de données fournit des données d'entraînement, de validation et de test pour le projet X-Mobility. Il contient des jeux de données de politiques générés par le simulateur Isaac Sim. Le jeu de données comprend un jeu de données de politiques enseignantes et un jeu de données d'actions aléatoires, prenant en charge le pré-entraînement des modèles de monde ainsi que l'entraînement conjoint des modèles de monde et des réseaux d'actions, fournissant un soutien de données de simulation de haute qualité pour la recherche sur la mobilité robotique.

7. Jeu de données de scène de simulation robotique OpenUSD Warehouse de NVIDIA PhysicalAI SimReady

Exécution en ligne : https://go.hyper.ai/LdadM

NVIDIA Physical AI SimReady Warehouse OpenUSD Dataset est un jeu de données 3D haute précision publié par NVIDIA en 2025, destiné à la simulation robotique et à la recherche en IA physique. Il vise à fournir des scénarios d'entrepôt industriel réalistes et des objets interactifs pour des plateformes de simulation telles qu'IsaacSim.

Ce jeu de données contient 753 actifs 3D OpenUSD compatibles avec les applications NVIDIA IsaacSim, avec une taille d'archive d'environ 15 Go. Il couvre des environnements d'entrepôt, des objets préhensibles et divers composants. Les données offrent des étiquettes sémantiques riches (comme les codes Q WikiData), des propriétés physiques (comme la masse) et des informations de classification, prenant en charge des tâches telles que la segmentation d'images, la détection d'objets et l'estimation de la profondeur. Elles sont applicables à la recherche sur la préhension robotique, la navigation et la reconstruction de scènes.

8. Jeu de données de contrôle de mouvement de robots humanoïdes MoCapAct

Exécution en ligne : https://go.hyper.ai/UsXf9

MoCapAct est un jeu de données publié par Microsoft Research en 2024 pour le contrôle de mouvement de robots humanoïdes en simulation. Il vise à fournir des politiques d'experts pré-entraînées et leurs données de démonstration pour la recherche sur le contrôle de mouvement des robots humanoïdes, réduisant le coût de calcul nécessaire pour entraîner des politiques de contrôle de bas niveau à partir de données de capture de mouvement.

Ce jeu de données contient des agents experts pré-entraînés capables de suivre plus de 3 heures de données de capture de mouvement dans l'environnement de simulation physique dm_control, ainsi que des données de relecture générées par ces agents experts. Les données de relecture incluent des observations proprioceptives et des actions, couvrant des compétences de mouvement humanoïdes telles que se tenir debout, marcher et courir. Elles peuvent être utilisées pour l'apprentissage par imitation, l'apprentissage par renforcement et l'apprentissage de comportements moteurs de haut niveau.