PhysicalAI-Robotics-Manipulation-Kitchen-Demos ist ein im Jahr 2026 von NVIDIA veröffentlichtes großskaliges Datenset für Roboter-Manipulations-Demonstrationen. Es umfasst etwa 600 Stunden menschliche Teleoperations-Demonstrationen, die 316 verschiedene Aufgaben abdecken und insgesamt etwa 55.000 Trajektorien enthalten. Das Datenset wurde mit einem Franka-Panda-Roboter auf einer Omron-Mobilen-Plattform aufgenommen und zielt darauf ab, hochwertige Daten aus realen Szenarien für die Robotik-Lern- und Embodied-AI-Forschung bereitzustellen. Es unterstützt das Lernen und Trainieren von Aufgaben, die von grundlegenden Manipulationen bis hin zu komplexen, mehrstufigen Aufgaben reichen.

Zusammensetzung des Datensets

Die Struktur des Datensets folgt dem LeRobot-Standard und umfasst hauptsächlich die folgenden Teile:

Hauptdatendateien (meta/data/videos):

• info.json: Informationen zum Datenset, einschließlich Robotertyp, Anzahl der Episoden, Anzahl der Frames, Framerate und Merkmale.
• tasks.jsonl: Sprachanweisungen, die über den Aufgabenindex referenziert werden.
• episodes.jsonl: Metadaten zu jeder Episode, einschließlich Index, Anweisung und Länge.
• episodes_stats.jsonl: Statistiken zu Aktionen und Propriozeption jeder Episode.
• stats.json: Aggregierte Statistiken über alle Episoden.
• modality.json: Informationen zu den in den Beobachtungs- und Aktionsvektoren enthaltenen Daten.
• embodiment.json: Informationen zum Embodiment (Körperlichkeit).

Trajektoriendaten (data):

• Enthält niedrigdimensionale Trajektoriendaten, die im Parquet-Dateiformat gespeichert sind. - Jeder Chunk enthält mehrere Episoden-Dateien, die Propriozeption, Aktionen, Abschlussstatus und Zeitstempel aufzeichnen.

Videodaten (videos):

• Enthält MP4-Videodateien für jede Kameraperspektive. - Umfasst drei Ansichten: linke externe Kamera, rechte externe Kamera und Eye-in-Hand-Kamera.

Zusätzliche Daten (extras):

• MuJoCo-spezifische Metadaten, einschließlich Umgebungsparameter und Steuerungskonfigurationen.
• Zusätzliche Metadaten pro Episode, einschließlich Küchenlayout, Stil, Befestigungselementen und Objektinformationen.
• Komprimierte MJCF-MuJoCo-Modell-XML-Dateien und ursprüngliche MuJoCo-Statusdateien (zur Wiedergabe, nicht zum Training).