HyperAIHyperAI

Command Palette

Search for a command to run...

vor 13 Tagen

NovaFlow: Null-Shot-Manipulation mittels handlungsfähiger Flüsse aus generierten Videos

Hongyu Li Lingfeng Sun Yafei Hu Duy Ta Jennifer Barry George Konidaris Jiahui Fu

NovaFlow: Null-Shot-Manipulation mittels handlungsfähiger Flüsse aus generierten Videos

Abstract

Die Fähigkeit, Robotern die Ausführung neuartiger Manipulationsaufgaben ohne vorherige Demonstrationen (zero-shot) zu ermöglichen, ist ein zentrales Ziel der Robotik. Die meisten bestehenden Ansätze gehen von Aufgaben innerhalb der Trainingsverteilung aus oder setzen eine Feinabstimmung mit körperlich passenden Daten voraus, was die Übertragbarkeit zwischen verschiedenen Plattformen einschränkt. Wir präsentieren NovaFlow, einen autonomen Manipulationsrahmen, der eine Aufgabenbeschreibung in einen ausführbaren Plan für einen Zielroboter umwandelt, ohne dass Demonstrationen erforderlich sind. Gegeben eine Aufgabenbeschreibung generiert NovaFlow mithilfe eines Videogenerationsmodells ein Video und leitet daraus mittels standardmäßiger Wahrnehmungsmodulen eine 3D-Handlungsströmung von Objekten ab. Aus dieser Objektströmung berechnet das System relative Pose von starren Objekten und realisiert diese als Roboteraktionen über Greifvorschläge und Trajektorienoptimierung. Für verformbare Objekte dient die Strömung als Verfolgungsziel für modellbasiertes Planen mit einem partikulären Dynamikmodell. Durch die Entkoppelung von Aufgabenverstehen und niedrigstufiger Steuerung ermöglicht NovaFlow eine natürliche Übertragbarkeit über verschiedene Roboterplattformen. Wir validieren unsere Methode an Aufgaben der Manipulation von starren, beweglichen und verformbaren Objekten, wobei wir eine effektive zero-shot-Realisierung ohne Demonstrationen oder plattformspezifische Trainingsdaten erreichen – sowohl mit einem Tisch- Franka-Arm als auch mit einem mobilen, viereckigen Spot-Roboter.

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp