HyperAIHyperAI

Command Palette

Search for a command to run...

vor 6 Stunden

VIRAL: Visuelle Sim-to-Real im großen Maßstab für humanoides Lokomotions- und Manipulationsverhalten

VIRAL: Visuelle Sim-to-Real im großen Maßstab für humanoides Lokomotions- und Manipulationsverhalten

Abstract

Ein zentrales Hindernis für die praktische Anwendung humanoider Roboter ist das Fehlen autonomer Locomotion- und Manipulationsskills. Wir stellen VIRAL vor, einen visuellen Sim-to-Real-Framework, der die komplette Locomotion- und Manipulationstechnik für Humanoid-Roboter ausschließlich in der Simulation lernt und diese direkt ohne vorherige Anpassung (zero-shot) auf reale Hardware überträgt. VIRAL folgt einem Lehrer-Schüler-Design: Ein privilegierter RL-Lehrer, der auf vollständigen Zustandsinformationen operiert, lernt langfristige Locomotion- und Manipulation durch die Verwendung eines Delta-Aktionsraums und einer Referenzzustands-Initialisierung. Anschließend wird eine visionbasierte Schülerpolitik aus dem Lehrer durch große Skalen-Simulation mit geteiltem Rendering abgeleitet und mit einer Mischung aus online DAgger und Verhaltensklonung trainiert. Wir stellen fest, dass die Rechenleistung entscheidend ist: Die Skalierung der Simulation auf zehn oder mehr GPUs (bis zu 64) sorgt für eine zuverlässige Ausbildung sowohl des Lehrers als auch des Schülers, während Systeme mit geringer Rechenleistung oft versagen. Um die Lücke zwischen Simulation und Realität zu schließen, kombiniert VIRAL umfassende visuelle Domänenrandomisierung in Bezug auf Beleuchtung, Materialien, Kameraparameter, Bildqualität und Sensordelay – ergänzt durch eine exakte Real-to-Sim-Ausrichtung der geschickten Hände und Kameras. Auf einem Unitree G1 Humanoiden eingesetzt, erreicht die resultierende RGB-basierte Politik kontinuierliche Locomotion- und Manipulation über bis zu 54 Zyklen, generalisiert dabei auf unterschiedliche räumliche und optische Variationen ohne jegliche Nachjustierung in der Realität und nähert sich der Leistung von Experten bei Teleoperation an. Umfassende Ablationsstudien analysieren die wesentlichen Gestaltungselemente, die für die praktische Umsetzung von RGB-basierten Locomotion- und Manipulationsskills bei humanoiden Robotern erforderlich sind.

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp