Datenübersicht | Von Bedienabläufen Bis Zu 3D-Szenen: 8 Roboter-Datensätze Decken Schlüsselbereiche Der Verkörperten KI Ab

Roboterdaten werden zu einer Schlüsselvariable im Wettbewerb um verkörperte KI. Während sich die Modellarchitekturen allmählich angleichen, beginnen die Herkunft, der Umfang und das Format der Daten, die tatsächliche Leistung von Robotern bei Aufgaben wie Manipulation, Greifen und Fortbewegung zu bestimmen. Im Gegensatz zu traditionellen Bild- und Textdaten legen Roboterdaten stärker Wert auf den „Prozess“ – die vollständige Ausrichtung von Trajektorien, Aktionen, Beobachtungen und Aufgabenanweisungen bestimmt direkt, ob ein Modell in einer realen Umgebung stabil ausgeführt werden kann.

Anhand kürzlich veröffentlichter Daten zeigt sich, dass die Produktionsmethoden für Roboterdaten sich in zwei klare Wege aufteilen: Der erste Weg ist die reale Erfassung, die auf menschlicher Teleoperation und optischer Motion Capture basiert, um hochwertige Trajektorien anzusammeln; der zweite Weg ist die Simulationssynthese, die auf Simulatoren wie Isaac Sim und dm_control setzt, um Greif- und Bewegungsmuster im großen Maßstab zu generieren. Beide Wege decken unterschiedliche Bereiche ab, während Formate wie LeRobot, GR00T und OpenUSD dabei helfen, sie miteinander zu verbinden.

Die in diesem Artikel zusammengestellten 8 Datensätze decken mehrere Kernbereiche der aktuellen Roboterdaten-Forschung ab: reale Manipulationsdemonstrationen, Video-Benchmarks, Motion Capture, Videos humanoider Roboter sowie simulierte Greif-, Mobilitäts- und 3D-Szenenassets. Sie stammen von NVIDIA, Microsoft Research, dem Anbieter für optische Motion Capture ChingMu und Macrodata Labs.

Die folgenden Datensätze sind auf HyperAI verfügbar, um Forschern und Entwicklern die schnelle Erkundung von Training, Bewertung und Anwendung zu ermöglichen.

Weitere hochwertige Datensätze: https://hyper.ai/datasets

1. PhysicalAI-Robotics Datensatz für Roboterküchen-Manipulationsdemonstrationen

Online-Ausführung: https://go.hyper.ai/EAIP6

PhysicalAI-Robotics-Manipulation-Kitchen-Demos ist ein im Jahr 2026 von NVIDIA veröffentlichter großskaliger Datensatz für Roboter-Manipulationsdemonstrationen. Er enthält etwa 600 Stunden menschlicher Teleoperationsdemonstrationen, deckt 316 verschiedene Aufgaben ab und umfasst insgesamt etwa 55.000 Trajektorien. Die Daten wurden von einem Franka Panda Roboter mit Omron-Mobilitätsbasis erfasst und sollen der Robotik-Lernforschung und der Forschung zu verkörperter KI Daten aus realen Szenarien bereitstellen.

Der Datensatz folgt dem LeRobot-Standard. Die niedrigdimensionalen Trajektorien werden im Parquet-Format gespeichert, während die Videos drei Ansichten enthalten: linke dritte Person, rechte dritte Person und Hand-in-Kamera (Eye-in-Hand). Im Meta-Verzeichnis werden info.json, tasks.jsonl, episodes.jsonl, stats.json, modality.json und embodiment.json bereitgestellt. Im Extras-Verzeichnis sind zusätzlich MuJoCo-Umgebungsparameter, MJCF-Modelle und Rohzustandsdateien enthalten, die für die Wiedergabe genutzt werden können.

2. WGO-Bench Benchmark-Datensatz für Roboter-Videos

Online-Ausführung: https://go.hyper.ai/o3Fze

WGO-Bench ist ein von Macrodata Labs veröffentlichter Benchmark-Datensatz für Roboter-Videos, der darauf abzielt, die Fähigkeit von Vision-Language-Modellen zu bewerten, Roboter- und Videos aus der Ersten-Person-Perspektive in zeitgestempelte Teilaufgaben-Annotationen umzuwandeln. Er konzentriert sich hauptsächlich auf die Aufgaben der Rand-Erkennung und der Teilaufgaben-Annotation.

Der Datensatz enthält insgesamt 100 Videoclips, die 743 Gold-Standard-Teilaufgaben-Segmente und 63 unabhängige Aufgabenanweisungen abdecken. Die Datenquellen umfassen drei Kategorien: HomER-Videos aus der Ersten-Person-Perspektive, RoboInter DROID-Roboterarm-Videos und RoboCOIN Galaxea R1 Lite Head-Mounted-Camera-Videos. Die Daten werden im Parquet-Format gespeichert, wobei die MP4-Videobytes direkt in jede Zeile eingebettet sind. Die Felder umfassen id, video, instruction und segments.

3. MotionDecode Datensatz für Roboter-Motion-Capture

Online-Ausführung: https://go.hyper.ai/CVoFS

MotionDecode ist ein von ChingMu veröffentlichter Datensatz für optisches Roboter-Motion-Capture, der sich auf hochpräzises Motion Capture für verkörperte KI und humanoide Roboter konzentriert. Er umfasst über 1.000 Stunden Roboterbewegungstrajektorien, deckt mehr als 15 reale Szenarien wie Industrie, Haushalt, Einzelhandel, Gesundheit, Logistik, Landwirtschaft und Darbietungen ab und bezieht sich auf über 200 verfolgbare Objekte und über 500 standardisierte Aufgaben.

Die Daten umfassen Rohbewegungsdaten (BVH, 120 fps, 47–67 Skelettgelenke), Roboter-Retargeting-Trajektorien (CSV), 6D-Posen von Objekten (CSV, 120 Hz), Multi-View-Videos von 4–8 synchronisierten Kameras sowie JSONL-semantische Tags. Alle Daten wurden automatisiert bereinigt und manuell qualitätsgesichert.

4. GR1-100 Datensatz für Videos humanoider Roboter-Manipulation

Online-Ausführung: https://go.hyper.ai/zEMXF

GR1-100 ist ein im Jahr 2025 von NVIDIA veröffentlichter Datensatz für Videos humanoider Roboter-Manipulation. Er enthält 92 Videoclips, die Szenen aus der Dritten-Person-Perspektive des Fourrier GR1-T2 humanoiden Roboters bei der Ausführung verschiedener Manipulationsaufgaben im Laborumfeld aufzeichnen. Die Gesamtgröße beträgt etwa 142,3 MB. Die damit verbundenen Forschungsergebnisse sind im Paper „DreamGen: Unlocking Generalization in Robot Learning through Video World Models“ dokumentiert, das für die Bereiche Computer Vision und Robotik-Lernen relevant ist.

5. GraspGen großskaliger simulierter Greif-Datensatz

Online-Ausführung: https://go.hyper.ai/AhNid

GraspGen ist ein im Jahr 2025 von NVIDIA veröffentlichter großskaliger simulierter Greif-Datensatz. Er enthält über 57 Millionen Greifdaten, die auf Basis von 8.515 Objekten aus Objaverse XL (LVIS) generiert wurden. Der Datensatz ist für drei Endeffektoren konzipiert: den Franka Panda, den Robotiq-2f-140 Industriegriff und einen Saugnapf mit einem Einzelpunktkontakt-Radius von 30 mm. Er zielt darauf ab, die Übertragbarkeit von Greiffähigkeiten von der Simulation in die Realität zu verbessern.

Die Daten liegen im WebDataset-Format vor und sind in drei Verzeichnisse organisiert: franka, robotiq2f140 und suction, die jeweils den drei Greiferkonfigurationen entsprechen.

6. X-Mobility Datensatz für Robotermobilitäts-Simulation

Online-Ausführung: https://go.hyper.ai/2Omzo

X-Mobility ist ein im Jahr 2024 von NVIDIA veröffentlichter Datensatz für das Training der Robotermobilität, der darauf abzielt, Weltmodelle und Aktionsnetzwerke über simulierte Daten zu trainieren.

Der Datensatz stellt Trainings-, Validierungs- und Testdaten für das X-Mobility-Projekt bereit und umfasst Strategie-Datensätze, die mit dem Isaac Sim Simulator generiert wurden. Der Datensatz deckt Datensätze für Lehrer-Strategien und Datensätze für zufällige Aktionen ab, unterstützt die Vorabtrainings von Weltmodellen sowie das gemeinsame Training von Weltmodellen und Aktionsnetzwerken und bietet hochwertige Simulationsdatenunterstützung für die Robotermobilitätsforschung.

7. NVIDIA PhysicalAI SimReady Warehouse OpenUSD Datensatz für Robotersimulations-Szenen

Online-Ausführung: https://go.hyper.ai/LdadM

Der NVIDIA Physical AI SimReady Warehouse OpenUSD Dataset ist ein im Jahr 2025 von NVIDIA veröffentlichter hochpräziser 3D-Datensatz für Robotersimulation und physikalische KI-Forschung. Er zielt darauf ab, Simulationsplattformen wie IsaacSim realistische industrielle Lagerszenen und interaktive Objekte bereitzustellen.

Der Datensatz enthält 753 OpenUSD-3D-Assets, die mit NVIDIA IsaacSim-Anwendungen kompatibel sind. Die komprimierte Größe beträgt etwa 15 GB und umfasst Lagerumgebungen, greifbare Objekte und verschiedene Komponenten. Die Daten bieten umfangreiche semantische Tags (wie WikiData Q-Codes), physikalische Eigenschaften (wie Masse) und Klassifikationsinformationen, die Aufgaben wie Bildsegmentierung, Objekterkennung und Tiefenschätzung unterstützen. Sie eignen sich für Forschungsbereiche wie Roboter-Greifen, Navigation und Szenenrekonstruktion.

8. MoCapAct Datensatz für die Bewegungssteuerung humanoider Roboter

Online-Ausführung: https://go.hyper.ai/UsXf9

MoCapAct ist ein im Jahr 2024 von Microsoft Research veröffentlichter Datensatz für die Bewegungssteuerung simulierter humanoider Roboter. Er zielt darauf ab, der Forschung zur Bewegungssteuerung humanoider Roboter vortrainierte Expertenstrategien und deren Demonstrationsdaten bereitzustellen, um die Rechenkosten für das Training von Low-Level-Steuerungsstrategien aus Motion-Capture-Daten zu senken.

Der Datensatz enthält vortrainierte Expertenagenten, die in der Lage sind, über 3 Stunden Motion-Capture-Daten in der dm_control-Physiksimulationsumgebung zu verfolgen, sowie Replay-Daten, die von diesen Expertenagenten generiert wurden. Die Replay-Daten umfassen propriozeptive Beobachtungen (proprioceptive observations) und Aktionen (actions), decken menschliche Bewegungsfähigkeiten wie Stehen, Gehen und Laufen ab und können für Aufgaben wie Nachahmungslernen, Reinforcement Learning und das Lernen höherer Bewegungsfunktionen verwendet werden.