Lujie Yang Xiaoyu Huang Zhen Wu Angjoo Kanazawa Pieter Abbeel Carmelo Sferrazza et al

Abstract

Ein dominanter Ansatz zur Vermittlung komplexer Fähigkeiten an humanoiden Robotern besteht darin, menschliche Bewegungen als kinematische Referenzen umzubewerten, um darauf aufbauend Policy-Modelle mittels Verstärkungslernens (Reinforcement Learning, RL) zu trainieren. Allerdings leiden bestehende Umrechnungspipelines oft unter dem erheblichen Embodiment-Unterschied zwischen Menschen und Robotern und erzeugen physikalisch unrealistische Artefakte wie Fußschleifen oder Durchdringungen. Noch gravierender ist, dass herkömmliche Umrechnungsmethoden die reichhaltigen Interaktionen zwischen Mensch und Objekt sowie Mensch und Umgebung vernachlässigen, die für expressive Fortbewegung und Loco-Manipulation entscheidend sind. Um dieses Problem anzugehen, stellen wir OmniRetarget vor – eine datengenerierende Engine, die auf einem Interaktionsnetz basiert und explizit die wesentlichen räumlichen und kontaktbasierten Beziehungen zwischen einem Agens, dem Gelände und manipulierten Objekten modelliert und erhält. Durch Minimierung der Laplace-Deformation zwischen menschlichem und robotischem Mesh unter Einhaltung kinematischer Einschränkungen generiert OmniRetarget kinematisch realisierbare Trajektorien. Darüber hinaus ermöglicht die Erhaltung von aufgabe-relevanten Interaktionen eine effiziente Datenvervollständigung: Aus einer einzigen Demonstration können Daten für verschiedene Roboterkörper, Geländeszenarien und Objektanordnungen erzeugt werden. Wir evaluieren OmniRetarget umfassend, indem wir Bewegungen aus den Datensätzen OMOMO, LAFAN1 sowie unseren internen MoCap-Daten umrechnen und über 8 Stunden an Trajektorien generieren. Diese erreichen eine bessere Einhaltung kinematischer Einschränkungen und eine verbesserte Erhaltung von Kontakten im Vergleich zu weit verbreiteten Baselines. Die hohe Qualität dieser Daten ermöglicht es propriozeptiven RL-Policies, langfristige (bis zu 30 Sekunden) Parkour- und Loco-Manipulationsaufgaben erfolgreich auf einem humanoiden Roboter der Unitree G1 auszuführen – trainiert mit lediglich fünf Belohnungstermen und einfacher Domänenrandomisierung, die für alle Aufgaben gemeinsam genutzt wird, ohne dass ein Lerncurriculum erforderlich ist.