Anweisungsbasierte, historische Bewusstsein erzeugende Strategien für robotergesteuerte Manipulationen

In menschlichen Umgebungen werden von Robotern erwartet, dass sie bei einfachen natürlichsprachlichen Anweisungen eine Vielzahl von Manipulationsaufgaben ausführen. Dennoch ist die roboterische Manipulation äußerst herausfordernd, da sie feingranulare Bewegungssteuerung, Langzeitgedächtnis sowie die Verallgemeinerung auf bisher unbekannte Aufgaben und Umgebungen erfordert. Um diesen Herausforderungen zu begegnen, schlagen wir einen einheitlichen Ansatz basierend auf Transformatoren vor, der mehrere Eingaben berücksichtigt. Insbesondere integriert unsere Transformer-Architektur (i) natürlichsprachliche Anweisungen und (ii) multiview-Szenenbeobachtungen, während sie (iii) den gesamten Beobachtungs- und Aktionshistorie verfolgt. Dieser Ansatz ermöglicht das Lernen von Abhängigkeiten zwischen Historie und Anweisungen und verbessert die Manipulationsgenauigkeit durch die Nutzung mehrerer Sichten. Wir evaluieren unsere Methode anhand des anspruchsvollen RLBench-Benchmarks und an einem realen Roboter. Bemerkenswerterweise skaliert unser Ansatz auf 74 verschiedene RLBench-Aufgaben und übertrifft den Stand der Technik. Zudem behandeln wir instruktionsbedingte Aufgaben und zeigen eine ausgezeichnete Verallgemeinerungsfähigkeit für bisher unbekannte Variationen.