LeRobotDataset:v3.0 marque une avancée majeure dans la gestion des données robotiques à grande échelle, en répondant aux limites du format précédent qui stockait une seule épisode par fichier. Cette nouvelle version regroupe plusieurs épisodes dans des fichiers uniques, utilisant un système de métadonnées relationnelles pour retrouver précisément les informations à l’échelle de chaque épisode. Ce changement permet de surmonter les contraintes du système de fichiers lors du stockage de millions d’épisodes, tout en maintenant une accessibilité rapide et efficace des données. Le format v3.0 intègre également un mode de lecture en flux (streaming), permettant de traiter des jeux de données volumineux directement depuis le Hugging Face Hub, sans les télécharger localement. Cela ouvre la voie à une utilisation plus fluide et plus économe en ressources, essentielle pour l’apprentissage robotique à grande échelle. Le format LeRobotDataset est conçu pour être standardisé, extensible et compatible avec les écosystèmes Hugging Face et PyTorch. Il gère de manière unifiée des données multimodales — états robotiques, actions, flux vidéo de plusieurs caméras — tout en conservant des métadonnées structurées : descriptions textuelles des tâches, type de robot, fréquence d’échantillonnage, statistiques normalisées. Ces métadonnées facilitent l’indexation, la recherche et l’interopérabilité entre différents jeux de données. Le format supporte déjà des données réelles (bras manipulateurs comme SO-100 ou ALOHA-2, humanoïdes), des simulations et même des données de conduite autonome. Pour faciliter la transition, une commande en une ligne permet de convertir automatiquement tout jeu de données LeRobotDataset:v2.1 vers la version v3.0. Cette fonctionnalité est disponible dès la version lerobot-v0.3.x (pré-version), installable via PyPI. L’outil fusionne les fichiers parquet et MP4 d’origine en fichiers plus grands, tout en mettant à jour les métadonnées pour préserver la granularité épisode. Cette conversion est essentielle pour tirer parti du streaming et des performances accrues. En pratique, l’utilisation du dataset via LeRobotDataset avec torch.utils.data.DataLoader est simplifiée : les données sont chargées comme des dictionnaires de tenseurs, et une fonction de fenêtrage temporel (delta_timestamps) permet d’extraire automatiquement des séquences d’observations passées et futures, cruciales pour l’entraînement des politiques robotiques par imitation ou apprentissage par renforcement. Le streaming, quant à lui, est activé via StreamingLeRobotDataset, qui accède directement aux données sur le Hub sans stockage local. Ce nouveau format représente une étape clé vers la démocratisation de l’apprentissage robotique, en rendant accessible l’entraînement sur des jeux de données massifs sans contrainte matérielle. Il s’inscrit pleinement dans l’objectif de la bibliothèque lerobot de Hugging Face : offrir une infrastructure ouverte, performante et intégrée pour le développement robotique. L’équipe encourage la communauté à tester le format, à partager ses retours sur GitHub ou sur Discord, et à collaborer à son évolution.