Heute wird LeRobotDataset:v3.0 veröffentlicht, eine bedeutende Neuerung im Standardformat für Roboterlern-Datensätze, das von Hugging Face entwickelt wurde. Die vorherige Version v2.1 speicherte jede Episode in einer separaten Datei, was bei Skalierung auf Millionen von Episoden zu erheblichen Dateisystem-Engpässen führte. LeRobotDataset:v3.0 löst dieses Problem, indem es mehrere Episoden in einer einzigen Datei zusammenfasst – sowohl für tabellarische Daten (Parquet) als auch für Video-Streams (MP4). Durch die Verwendung relationaler Metadaten können jedoch weiterhin präzise Informationen zu einzelnen Episoden wie Start- und Endzeiten, Aufgabenbeschreibungen oder Robotertypen abgerufen werden. Ein zentraler Fortschritt ist die native Unterstützung für Streaming-Modus: Daten können nun direkt vom Hugging Face Hub abgerufen und verarbeitet werden, ohne dass große Datensätze lokal heruntergeladen werden müssen. Dies ist ein entscheidender Schritt hin zu einer skalierbaren, zugänglichen Robotikforschung. Die neue Architektur gliedert sich in drei Hauptkomponenten: Tabellarische Daten (z. B. Gelenkzustände, Aktionen) werden in komprimierten Parquet-Dateien gespeichert, visuelle Daten (Kameraaufnahmen) werden in MP4-Dateien zusammengefasst und die Metadaten – wie Frame-Rate, Normalisierungsstatistiken und Episodengrenzen – werden in strukturierten JSON- und Parquet-Dateien verwaltet. Diese Organisation ermöglicht effiziente Speicherung und schnellen Zugriff, auch bei Datensätzen mit Milliarden von Frames. Die Umstellung von v2.1 auf v3.0 ist durch ein einfaches Kommando möglich: python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=<HFUSER/DATASET_ID>. Die neue Version ist bereits in der aktuellen Entwicklungsversion von lerobot (v0.3.x) verfügbar und wird ab v0.4.0 standardmäßig integriert sein. Für die Nutzung im Training bietet LeRobotDataset eine native Fensterfunktion (delta_timestamps), die es ermöglicht, zeitlich benachbarte Beobachtungen und Aktionen automatisch zu aggregieren – ideal für Verfahren wie Behavioral Cloning oder Reinforcement Learning. Mit PyTorch-DataLoader können Daten in Batches verarbeitet werden, wobei die Batch-Formate automatisch angepasst werden, z. B. bei mehreren aufeinanderfolgenden Bildern. Die Streaming-Unterstützung via StreamingLeRobotDataset erlaubt den direkten Zugriff auf Datensätze ohne lokale Speicherung, was besonders für Ressourcenbeschränkungen relevant ist. Industrieexperten begrüßen die Entwicklung als Meilenstein für die Democratization von Robotik. „Die Fähigkeit, Millionen von Episoden ohne lokale Speicherung zu verarbeiten, revolutioniert die Art und Weise, wie Forschung betrieben wird“, sagt ein Experte aus dem Bereich Robotik-ML. Hugging Face positioniert sich damit als zentraler Plattformanbieter für offene Robotik-Daten. Die Community kann bereits jetzt mit der neuen Version experimentieren und Feedback über GitHub oder Discord geben. Die Zusammenarbeit mit Organisationen wie yaak.ai unterstreicht die offene, gemeinschaftsbasierte Entwicklung. Mit LeRobotDataset:v3.0 wird die Grundlage für die nächste Generation von roboterlernbaren, skalierbaren und zugänglichen Datensätzen gelegt.