1. Einführung in das Tutorial

ROCKET-2 ist ein Framework zur visuellen Bewegungssteuerung mit übergreifender Zielausrichtung, das vom CraftJarvis-Team am 21. März 2025 vorgestellt wurde. Es konzentriert sich auf die Lösung komplexer Aufgabensteuerungsprobleme in der Robotik. Durch innovative Technologie zur Zielausrichtung aus mehreren Blickwinkeln verbessert dieses Projekt die Generalisierungsfähigkeit und Steuerbarkeit visueller Bewegungsstrategien in dynamischen Umgebungen signifikant. Zugehörige Forschungsarbeiten sind verfügbar. ROCKET-2: Steuerung der Visuomotorik durch Cross-View-Zielausrichtung .

Dieses Tutorial verwendet eine einzelne RTX 5090-Karte als Ressource.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 1–2 Minuten und aktualisieren Sie die Seite.

2. Nachdem Sie die Webseite aufgerufen haben, können Sie ein Gespräch mit dem Modell beginnen

Anwendung

1. Gehen Sie zum Tutorial, um die Anleitung anzuzeigen.

2. Geben Sie „Umgebung anpassen“ ein und wählen Sie die Umgebung aus, die Sie laden möchten

3. Rufen Sie die Ladeumgebung von Launch Rocket auf

4. Geben Sie „Ziel angeben“ ein und wählen Sie den Zielpunkt und die Interaktionsmethode aus

5. Rufen Sie das Einstellungsfenster von Launch Rocket auf und wählen Sie das Modell aus

6. Rufen Sie das Control Panel von Launch Rocket auf, um die Inferenzschritte festzulegen und die Inferenz durchzuführen

7. Wiederholen Sie die Schritte 4–6, bis der Inferenzprozess abgeschlossen ist. Wechseln Sie dann in den Videoaufnahmemodus, um das Video zu erstellen und herunterzuladen. Dieses Video ist nicht online verfügbar.

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@article{cai2025rocket,
  title={ROCKET-2: Steering Visuomotor Policy via Cross-View Goal Alignment},
  author={Cai, Shaofei and Mu, Zhancun and Liu, Anji and Liang, Yitao},
  journal={arXiv preprint arXiv:2503.02505},
  year={2025}
}