HyperAIHyperAI

Command Palette

Search for a command to run...

LeRobot 0.6.0: Neue Policies, Reward-API und Benchmarks

Die aktuelle Version 0.6.0 des offenen Robotics-Frameworks LeRobot schließt nun den zentralen Lernkreislauf für robotische Systeme. Der Fokus der Aktualisierung liegt auf der Integration von Weltmodellen, einer erweiterten Sammlung visueller Sprach-Aktionsmodelle, einer einheitlichen Belohnungsmodelle-API sowie einer durchgängigen Verbesserung von Datensätzen, Evaluierung und Bereitstellung. Im Bereich der Weltmodelle ermöglichen neu eingeführte Richtlinien wie VLA-JEPA, LingBot-VA und FastWAM es Robotern, zukünftige Zustände während des Trainings vorherzuberechnen, ohne dabei inferencezeitliche Kosten zu verursachen. Gleichzeitig erweitert sich der Modellzoo um GR00T N1.7 von NVIDIA, MolmoAct2, EO-1, Multitask DiT und das effiziente EVO1 mit unter einer Milliarde Parametern. Diese Architekturen unterstützen nun durchgängig Feinabstimmung, Evaluation und Realrobotereinsatz auf unterschiedlicher Hardware. Für die Erfolgskontrolle sorgt die neue Belohnungsmodelle-API, die mit Robometer und TOPReward zwei General-Purpose-Modelle bereitstellt. Diese bewerten autonom den Fortschritt und den Erfolg robotischer Aktionen auf Basis von Rohvideo und Sprachbefehlen, was reward-aware Behavior Cloning und präzise Datensatzvalidierung ermöglicht. Die Datensatzerfassung profitiert von durchgängiger Tiefensensorik, flexibler Videokodierung und einer automatisierten VLM-gestützten Sprachannotierung. Parallel dazu wurde die Datenladeleistung um bis zu zwei hundert Prozent gesteigert, indem parallele Decodierung, optimierte Speicherkommunikation zwischen Prozessen und persistente Worker-Caches integriert wurden. Die Evaluierung zentralisiert sich im neuen Evaluierungs-CLI, das neun Simulationsbenchmarks vereint. Dazu zählen neu LIBERO-plus, RoboTwin 2.0, RoboCasa365, RoboCerebra, RoboMME und VLABench, die von Lichtvariationen über bimanuelle Manipulation bis hin zu langhorizontalem, speicherbasiertem Verhalten reichen. Der Bereitstellungsprozess wird durch den dedizierten Rollout-Befehl strukturiert. Er unterstützt verschiedene Erfassungsstrategien und integriert DAgger, mit dem menschliche Korrekturen während des Rollouts automatisch in Trainingsdaten umgewandelt werden. Für das Training abseits lokaler Hardware ermöglicht der Workflow die nahtlose Auslagerung an Cloud-Instanzen über Hugging Face Jobs, während Fully Sharded Data Parallel über Accelerate jetzt das Training von Modellen über mehrere Grafikkarten hinweg ohne speicherintensive Umwege erlaubt. Technische Optimierungen umfassen eine um vierzig Prozent schlankere Basisinstallation, native Unterstützung für PyTorch 2.7 bis 2.11, bfloat16-Mischpräzision und verbesserte Systemkompatibilität mit Wayland, SSH und macOS. Die gesamte Aktualisierung stärkt die Reproduzierbarkeit und Skalierbarkeit von Forschungs- und Produktionsrobotik im Open-Source-Bereich und liefert Entwicklern ein geschlossenes Ökosystem von der Datenerfassung bis zur cloudgestützten Feinabstimmung.

Verwandte Links

LeRobot 0.6.0: Neue Policies, Reward-API und Benchmarks | Aktuelle Beiträge | HyperAI